![[Data Engineering] 데이터 엔지니어를 위한 GCP Dataproc 활용법: PySpark로 BigQuery 데이터 변환 및 적재](/static/d1fab369e5e68fc3d9da90f2051c59bc/02ed9/bigquery.webp)
[Data Engineering] 데이터 엔지니어를 위한 GCP Dataproc 활용법: PySpark로 BigQuery 데이터 변환 및 적재![NASA1515]()
✌ DataProc Cluster 생성 GCP 탐색 메뉴 > Dataproc > 클러스터 선택 > 클러스터…
2021-09-08
2 min
Published by Author 44
![[Data Engineering] GCP DataFlow로 구현하는 BigQuery ETL: PySpark 활용 실전 가이드](/static/b4e4b7229dc2223a3e2ad115a144f629/d7e6a/dataflow.webp)
[Data Engineering] GCP DataFlow로 구현하는 BigQuery ETL: PySpark 활용 실전 가이드![NASA1515]()
✔ DataFlow에 대해서.. DataFlow는 GCP에서 DataPipeline(ETL, MR 등)을 …
2021-09-02
1 min
![[DevOps] Maven을 사용한 Java Application 빌드 및 배포 & DevSecOps Pipeline 통합 및 자동화 고도화](/static/ca755099df42e3fa0b61a8935683fe2e/a161f/DevOps.webp)
[DevOps] Maven을 사용한 Java Application 빌드 및 배포 & DevSecOps Pipeline 통합 및 자동화 고도화![NASA1515]()
사용 할 툴을 다음과 같습니다. Jenkins maven github ArgoCD ✔ 통합 Jenkins …
2021-08-20
1 min
![[Kubernetes] VSCode (VisualStudio Code)로 Kubernetes 클러스터 관리 : 초보자를 위한 완벽 가이드](/static/8dd4f91f71185aa2eeec36e27ba309da/a4113/AKS.webp)
[Kubernetes] VSCode (VisualStudio Code)로 Kubernetes 클러스터 관리 : 초보자를 위한 완벽 가이드![NASA1515]()
✔ Preview : VSCODE로 k8s를 관리한다면? 위처럼 pod, service 등의 yaml 형식…
2021-08-19
2 min
![[Spark] Apache Hadoop 클러스터에서 YARN과 Spark 애플리케이션 연동하기: 완벽 가이드](/static/3c14d88c80e37b66179f12877849f53a/b92c7/YARN.webp)
[Spark] Apache Hadoop 클러스터에서 YARN과 Spark 애플리케이션 연동하기: 완벽 가이드![NASA1515]()
😎 About This Post Spark Standalone Cluster도 구성해보았고 - Spark…
2021-08-16
1 min
![[Data Engineering] Apache Hadoop Full Distribute 클러스터 설치부터 구성까지: 실전 튜토리얼](/static/af37dfd4a0611797ff6a1edc6c4fbe4b/a161f/hadoopfull.webp)
[Data Engineering] Apache Hadoop Full Distribute 클러스터 설치부터 구성까지: 실전 튜토리얼![NASA1515]()
✔ 설치 환경 Hadoop 3.3.0 (Full-Distribute Mode) Server Master W…
2021-08-15
2 min