muse-data-engineer

• Technical Skills to becoming a data engineer

Data Ingestion

• Kafka

  • 이진로그 Binary log(Binlog)

  • 변경 데이터 캡처 CDC

• Embulk

  • Embulk & Digdag

  • Embulk 코드

Batch Processing

• Hadoop

  • Hadoop과 HDFS

  • Mapreduce와 YARN

  • Hadoop ECO System

• Spark

  • Spark 개요

  • Spark 튜닝

  • Spark 최적화

  • Spark Yarn

  • Spark 클러스터 매니저

  • Spark 조인과 셔플

• Batch SQL

  • Presto

    • Presto 개요

    • Presto 튜닝

    • Presto 쿼리 Processing

    • Trino 개요

    • Trino 최적화

  • Hive

    • Hive 개요

    • Hive 아키텍처

    • Hive 포맷

    • HiveQL

workflow

• Airflow

  • Airflow 개요

  • Airflow 아키텍처

• Dbt

  • dbt 개요

• Prefect

  • Prefect 개요

BI

• OLAP vs OLTP

• 데이터 모델링과 DW/DM

• 데이터 레이크와 클라우드 DW

• 데이터 메시와 데이터 패브릭

• Snowflake

  • Snowflake 개요

  • Snowflake_아키텍처

  • Snowflake 코드

Back-End Development

• 인프라 기초

• 클라우드와 온프레미스

• 모놀리틱 아키텍처와 마이크로서비스 아키텍처

• Kubernetes

  • Kubernetes 개요

  • Kubernetes 오브젝트 모델

  • Kubernetes 파드

  • Kubernetes 레플리케이션

  • Kubernetes 서비스

  • Kubernetes 볼륨

  • Kubernetes 컨피그맵과 시크릿

  • Kubernetes 디플로이먼트

• Docker

  • Docker 개요

• IaC

  • IaC와 Terraform

Programming Language

• Python

  • Python과 프로파일링

  • Python 컴파일

  • Python 비동기

  • Python multiprocessing