isPowerfulBlog

[Kafka] kafka.common.InconsistentClusterIdException 본문

Data Engineering

[Kafka] kafka.common.InconsistentClusterIdException

왕밤빵도라에몽 2022. 11. 26. 01:06

kafka server failed to start

스크린샷, 2022-11-26 00-41-41

  • zookeeper 서버는 정상 실행되고 있으나
    스크린샷, 2022-11-26 00-41-47
  • kafka 서버가 시작과 동시에 fail되는 현상이 있었다.

$ cd ~kafka/logs
$ cat server.log
  • 카프카 서버의 로그를 확인했다

kafka.common.InconsistentClusterIdException: The Cluster ID doesn't match stored clusterId Some in meta.properties.

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID bHxFe06CRNm2K6MTuffZcw doesn't match stored clusterId Some(C6Zdp9qlR4qzycs0lp_w5A) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
    at kafka.server.KafkaServer.startup(KafkaServer.scala:228)
    at kafka.Kafka$.main(Kafka.scala:109)
    at kafka.Kafka.main(Kafka.scala)
  • meta.properties에 있는 클러스터 id랑 kafka broker id랑 맞지 않아서 발생하는 에러 같다.

해결 1) meta.properties 파일 제거

$ cd ~kafka/config
$ cat server.properties
  • server.properties에 접근해서
    스크린샷, 2022-11-26 01-01-38
  • meta.properties가 저장되는 경로를 확인

스크린샷, 2022-11-26 01-01-08

  • meta.properties 찾았다!
$ rm -rf meta.properties
  • meta.properties 파일 제거
$ systemctl restart kafka.service
  • 카프카 재시작
    스크린샷, 2022-11-26 01-05-45
  • 아오 된다

해결 2) meta.properties clusterId 갱신

kafka.common.InconsistentClusterIdException: The Cluster ID bHxFe06CRNm2K6MTuffZcw doesn't match stored clusterId Some(C6Zdp9qlR4qzycs0lp_w5A) in meta.properties.
  • 에러 로그의 Cluster ID를 복사해서

스크린샷, 2022-11-27 14-28-02

  • meta.properties의 cluster.id를 갱신해준다.

스크린샷, 2022-11-27 14-26-09

  • 아오 된다

References

https://stackoverflow.com/questions/59481878/unable-to-start-kafka-with-zookeeper-kafka-common-inconsistentclusteridexceptio
https://eg3020.blogspot.com/2020/11/apache-kafka-metapropertie.html
https://amalgjose.com/2021/05/28/kafka-error-cluster-id-doesnt-match-stored-clusterid-in-meta-properties/