![[STREMING PIPELINE] 실시간 스트리밍 데이터 파이프라인 (Real-Time) 구축: Confluent와 CDC를 활용한 실시간 데이터 처리 완벽 가이드](/static/e38b57ef465afbfe0e17d89955ddfffb/a161f/cdcimage.webp)
[STREMING PIPELINE] 실시간 스트리밍 데이터 파이프라인 (Real-Time) 구축: Confluent와 CDC를 활용한 실시간 데이터 처리 완벽 가이드![NASA1515]()
시작하며 최근들어 streaming 관련 데이터 파이프라인 기술에 흥미가 생길 시점에 마침, 회사에서 Co…
2024-02-10
7 min
Data Engineering 13
Data 전처리, 데이터 Tools 등 전반적인 데이터 엔지니어링 포스트 모음
![[KAFKA] Apache Kafka Consumer Group 심층 분석: 효율적인 데이터 처리를 위한 Rebalancing 메커니즘과 최적화 기법](/static/885b503771440a6b9fa2ee8c74c1ae20/a161f/rebalancing.webp)
[KAFKA] Apache Kafka Consumer Group 심층 분석: 효율적인 데이터 처리를 위한 Rebalancing 메커니즘과 최적화 기법![NASA1515]()
Consumer Group (Consumer 그룹) Brocker는 Producer가 전송한 Record를…
2022-12-21
9 min
![[KAFKA] Apache Kafka Consumer의 동작 방식의 완벽 이해 정리 [Poll method, Offset, Commit]](/static/59f9a064e8226b41e3fe4181619e37a9/a161f/consumerkafka.webp)
[KAFKA] Apache Kafka Consumer의 동작 방식의 완벽 이해 정리 [Poll method, Offset, Commit]![NASA1515]()
✔ KAFKA Consumer Kafka Producer가 Record를 생산하고, Brocker의 Top…
2022-12-18
4 min
![[KAFKA] Apache Kafka Producer의 동작 방식과 데이터 무결성 보장의 이해 (Processing method, ACK, Idempotence)](/static/65af2f8d8b1eab8bb7748afa7154dd7f/48bb0/kafkapro.webp)
[KAFKA] Apache Kafka Producer의 동작 방식과 데이터 무결성 보장의 이해 (Processing method, ACK, Idempotence)![NASA1515]()
✔ KAFKA Producer Kafak Client인 Producer의 기본적인 역할은 Source에 있…
2022-12-02
6 min
![[KAKFA] Apache Kafka 아키텍처 심층 분석: Producer, Consumer, Broker 모델부터 고가용성까지 핵심 구성요소 이해](/static/f2801a2555451906d4e0ced138039b0f/a161f/kakfa.webp)
[KAKFA] Apache Kafka 아키텍처 심층 분석: Producer, Consumer, Broker 모델부터 고가용성까지 핵심 구성요소 이해![NASA1515]()
✔ What is the KAFKA???? 아마 대부분의 데이터 엔지니어라면, Streaming Data …
2022-12-01
3 min
![[KAFKA] Azure Event Hubs로 Kafka 스트리밍 구현: Producer와 Consumer 코드 예제 및 설정 방법](/static/4087eff491a762f51181e1990de1523b/a1d1d/eventhub.webp)
[KAFKA] Azure Event Hubs로 Kafka 스트리밍 구현: Producer와 Consumer 코드 예제 및 설정 방법![NASA1515]()
✔ Kafka Producer Application Kafka는 기본적으로 Clinet API를 가지고 있…
2022-05-11
1 min
Page 1 of 3