Full of Troves, Blog

Default Partitioner 사내에 본격적으로 Kafka 도입이 된 지도 1년이 좀 넘은 듯 하다. 구축부터 세팅, 관리까지는 별도의 DevOps팀이 있어서 이쪽 팀에서 책임져주고 있다. 이렇게 Kafka를 도입하여 실제 Producer/Consumer를 개발하여 운영해오면서 겪어본 사례 중 하나를 소개해보고자 한다. Kafka 도입 후에 컨슈머에서는 별도의 Custom Partitioner를 사용하고 있지 않았고, 메시지를 발행할 때도 별도의...

CommitFailedException 어느날 컨슈머 운영 중에 핀포인트에 에러 카운트가 남아있는 것을 보고 해당 파드 로그를 확인하던 중 CommitFailedException과 관련된 로그를 확인하여 대응했던 일이 있었다. java.lang.IllegalStateException: This error handler cannot process 'org.apache.kafka.clients.consumer.CommitFailedException's; no record information is available ... Caused by: org.apache.kafka.clients.consumer.CommitFailedException: Offset commit cannot be completed since the consumer is not part...

정말 오랜만에 글을 적는다. 2021년이 다 가고 2022년도 벌써 절반을 향해 달려가고 있는데 이제 2021년 회고록을 올리는 이유가 무엇이냐면… 그냥 별 이유없이 내가 게을러졌기 때문이다. 사실 이직하고 첫 해였던 2020년보다 2021년이 더 바쁜 한 해였기도 했고 업무적으로 상당히 많은 과부하(?)를 받았기에 번아웃까지는 아니지만 업무시간이 끝나면 줄곧 방전되곤 했다. 나이 앞자리가...

작년 말부터 사내에 구축되어 있는 Kafka를 이용하여 이것저것 해보고 있다. RabbitMQ같은 메시지 큐 시스템은 익히 들어 알고 있었고 Kafka도 직접 써본 적은 없지만 여러 세미나나 컨퍼런스에서 조금씩 주워들은(?) 경험이 있어서 어느정도 알고는 있었다. 마침 사내 인프라 쪽이 작년부터 MSA 환경으로 넘어가고 있는 과정이었는데 Kafka도 그 과정에서 세팅되었다. 우리 파트에서도 Kafka를...

2019년 회고록을 올린 게 정말 엊그제 같은데 벌써 한 해 두 해가 바뀌어 2021년이 되었다. 작년 한 해를 한 단어로 요약하자면 “놀았다”이다. 딱히 나 자신에게나 주위 사람들에게 변명(?)할 이유도 없고 놀고 싶고 쉬고 싶어서 회사일을 제외하고는 그냥 마음 놓고 놀았다. 지나간 시간을 돌아보면 의미 없이 보낸 시간들도 있기에 아쉬운 마음도...