목록Kafka (3)
isPowerfulBlog
[Kafka] Docker에서 Kafka Multi Broker Cluster 구성하기
카프카의 분산처리 기능을 이용하려면 노드가 여러개여야한다. 노드 한 개로 kafka 통신해보기는 성공을 했으니 이제 브로커를 3개로 늘려봐야겠다. 이런 그림을 원한다!! docker compose 수정 # kafka-cluster/docker-compose.yaml version: "2" services: zookeeper: ... broker-1: image: confluentinc/cp-kafka:7.3.0 container_name: broker-1 depends_on: - zookeeper ports: - 9092:9092 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS..
[Kafka] Docker로 Producer, Consumer 통신하기 (Python)
kafka cluster를 실행하면 compose의 broker에 접속해 직접 producer와 consumer를 통신해볼 수 있었다. 근데 나는 producer코드를 짜고 consumer코드를 짜서 각각 도커 컨테이너를 띄우고 카프카 컨테이너로 통신하고 싶었다. 이런 그림을 원한다! 그래서 아래 세 개를 network로 묶어주기로 했다. Producer 컨테이너 Consumer 컨테이너 Kafka Cluster Compose 컨테이너 docker compose에서 network 설정 # kafka-cluster/docker-compose.yaml version: "2" services: zookeeper: ... broker: ... networks: default: name: my-network se..
[Kafka] Docker에서 Kafka 단일 Broker Cluster 구성하기
도커이미지를 이용해서 간편하게 단일 브로커 Kafka 클러스터를 구성해보기 이미지 출처: https://www.tutorialspoint.com/apache_kafka/apache_kafka_cluster_architecture.htm 카프카를 운영하기 위해서 kafka cluster zookeeper: kafka cluster 관리 가 필요하다 Requirements Docker Hub에 있는 confluentinc의 zookeeper, broker 이미지를 사용한다. REPOSITORY TAG IMAGE ID CREATED SIZE confluentinc/cp-kafka 7.3.0 b526943eeea4 5 months ago 828MB confluentinc/cp-zookeeper 7.3.0 b3e..