코스 목록 / Pipelines
Kafka 스트림 수집과 exactly-once 설계
토픽 파티셔닝부터 소비자 그룹 재조정까지, 운영 관점의 스트림 수집을 프로젝트로 압축합니다.
기간 7주 · 주 2회 라이브
포맷 하이브리드
레벨 중급
데이터 플랫폼 Confluent 호환 클러스터
파이프라인 유형 스트림 수집
₩1,890,000 (정보 제공용)
상담 요청하기커리큘럼 서사
이 과정은 이벤트 스트림을 안정적으로 창고까지 운반하는 흐름을 중심으로 합니다. 멘토는 주간 리뷰에서 소비 지연, 재처리, 백프레셔 대응을 코드 레벨로 피드백합니다. 한국어 자료와 용어집을 제공하며, 포트폴리오용으로 토픽 설계서와 장애 대응 노트를 제출합니다.
포함 요소
- 토픽·파티션·리텐션 정책을 실제 트래픽 프로파일에 맞춰 설계
- 소비자 그룹 리밸런싱과 재처리 시나리오 실습
- 배치 경계와 스트림 경계를 나누는 워터마크 전략 소개
- 스키마 호환 규칙과 계약 테스트 체크리스트
- 관측 지표(지연, 처리량, 실패율) 대시보드 템플릿
- 멘토 주간 리뷰 6회 포함
- 포트폴리오 제출물: 토픽 설계서 + 장애 대응 노트
러너 아웃컴
- 스트림 수집 파이프라인의 운영 체크리스트를 자체적으로 유지할 수 있습니다.
- 지연과 재처리 상황에서 우선순위를 정해 롤백/스킵 전략을 문서화합니다.
- 창고 적재 전 단계에서 데이터 계약을 정의하고 검증합니다.
코스 리드
한도윤
분산 로그 플랫폼 운영 9년, 멘토링 140회 이상.
코호트 메모
`kafka-stream-ingestion` 모듈에서 파티션 키를 바꿨을 때의 재처리 시나리오를 직접 써봤어요. 멘토가 제 소비자 코드에 남긴 주석이 아직도 체크리스트로 남아있습니다.
주간 리뷰 시간이 짧게 느껴졌지만, 토픽 설계서 템플릿 덕분에 혼자 정리하는 속도는 빨라졌습니다.
세부 FAQ
CLI 기본과 JSON 직렬화 경험이 있으면 수월합니다. Git 사용은 필수입니다.