![[Data Engineering] Docker와 WSL로 구현하는 Kafka 클러스터: 데이터 엔지니어링 환경 구축 튜토리얼](/static/b90b5c5db923c27771a4d12004133bc5/a161f/dockerkafka.webp)
[Data Engineering] Docker와 WSL로 구현하는 Kafka 클러스터: 데이터 엔지니어링 환경 구축 튜토리얼![NASA1515]()
WSL 설치 방법 이 포스트에서는 WSL에 대한 내용은 나오지 않습니다. WSL은 다음 포스트를 확인 후 …
2022-05-09
2 min
Data Engineering 13
Data 전처리, 데이터 Tools 등 전반적인 데이터 엔지니어링 포스트 모음
![[Data Engineering] 데이터 엔지니어를 위한 GCP Dataproc 활용법: PySpark로 BigQuery 데이터 변환 및 적재](/static/d1fab369e5e68fc3d9da90f2051c59bc/02ed9/bigquery.webp)
[Data Engineering] 데이터 엔지니어를 위한 GCP Dataproc 활용법: PySpark로 BigQuery 데이터 변환 및 적재![NASA1515]()
✌ DataProc Cluster 생성 GCP 탐색 메뉴 > Dataproc > 클러스터 선택 > 클러스터…
2021-09-08
2 min
![[Data Engineering] GCP DataFlow로 구현하는 BigQuery ETL: PySpark 활용 실전 가이드](/static/b4e4b7229dc2223a3e2ad115a144f629/d7e6a/dataflow.webp)
[Data Engineering] GCP DataFlow로 구현하는 BigQuery ETL: PySpark 활용 실전 가이드![NASA1515]()
✔ DataFlow에 대해서.. DataFlow는 GCP에서 DataPipeline(ETL, MR 등)을 …
2021-09-02
1 min
![[Spark] Apache Hadoop 클러스터에서 YARN과 Spark 애플리케이션 연동하기: 완벽 가이드](/static/3c14d88c80e37b66179f12877849f53a/b92c7/YARN.webp)
[Spark] Apache Hadoop 클러스터에서 YARN과 Spark 애플리케이션 연동하기: 완벽 가이드![NASA1515]()
😎 About This Post Spark Standalone Cluster도 구성해보았고 - Spark…
2021-08-16
1 min
![[Data Engineering] Apache Hadoop Full Distribute 클러스터 설치부터 구성까지: 실전 튜토리얼](/static/af37dfd4a0611797ff6a1edc6c4fbe4b/a161f/hadoopfull.webp)
[Data Engineering] Apache Hadoop Full Distribute 클러스터 설치부터 구성까지: 실전 튜토리얼![NASA1515]()
✔ 설치 환 경 Hadoop 3.3.0 (Full-Distribute Mode) Server Master W…
2021-08-15
2 min
![[Spark] Apache Spark 3.0 Standalone 클러스터 설정부터 Zeppelin 연동까지: 실전 가이드](/static/336575e3a41375f970a37860af002a67/7b40c/stanalone.webp)
[Spark] Apache Spark 3.0 Standalone 클러스터 설정부터 Zeppelin 연동까지: 실전 가이드![NASA1515]()
✔ Azure VM에 Spark StandAlone Cluster 구성 Spark StandAlone Cl…
2021-08-14
1 min