Kafka

June 2021Kafka

Kafka 메시지 처리 중복 or 누락 문제

[Kafka Case Study] 3편 - Kafka 메시지가 중복 처리되거나 누락되는 문제가 발생하는 경우

June 2021Kafka

[Kafka Case Study] 2편 - Consumer에서의 데이터 처리중 Exception이 발생한다면?

June 2021Kafka

[Kafka Case Study] 1편 - Consumer 비즈니스 로직을 변경하기로 한 등등의 사유로, 예전 레코드부터 다시 가져와야 한다면?

June 2021Kafka

분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트이다.

May 2021Kafka

카프카 기반의 여러 기술들을 간단히 소개한다. 이는 나중에 더 자세히 다루기로 하고 간단히 역할만 다루어본다.

April 2021Kafka

자동 커밋과 수동 커밋으로 나뉘고, 수동 커밋은 동기 커밋과 비동기 커밋으로 나뉜다. 각각 상황과 용도에 맞도록 적절하게 활용해야 성능과 가용성 차원에서 이슈가 없다.

March 2021Kafka

각 파티션마다 메시지가 저장되는 위치를 오프셋이라고 한다. 컨슈머 그룹 단위로 이 오프셋으로 줄세워진 레코드를 순차적으로 컨슘하게 되며, 컨슈머가 얼마나 더 컨슘할 게 남았는지가 Lag이다.

February 2021Kafka

고가용성을 위해 파티션을 복제해두는 걸 리플리케이션이라고 하며, 그로 인해 리더(원본) 파티션과 팔로워(복제본) 파티션이 나뉜다. 리더와 싱크가 맞는 리플리카를 ISR이라고 하여 리더 후보로 삼는다.