isPowerfulBlog

GET GET /kafka-*/_search?pretty kafka-*로 인덱싱 되어있는 문서들을 예쁘게(?) 조회 DELETE DELETE /kafka-2023.01.03/_doc/WQHId4UBdwdTu7NNNmSO id가 WQHId4UBdwdTu7NNNmSO인 문서 지우기 DELETE /kafka-* kafka-*로 인덱싱 되어있는 모든 문서 제거 POST POST /kafka/_doc "_index" : kafka로 doc 하나 생성해보기 References https://esbook.kimjmin.net/04-data/4.4-_search https://esbook.kimjmin.net/04-data/4.2-crud

Logstash의 Pipeline Config를 Kafka input, ElasticSearch output으로 구성해 kafka메세지를 logstash를 통해 elasticsearch로 전달하고자 한다. logstash plugin install logstash-input-kafka kafka로부터 인풋을 받을거니까 input kafka 플러그인을 설치해준다. - $ ./bin/logstash-plugin install logstash-input-kafka 난 이미 플러그인이 있긴 했다 logstash-output-elasticsearch logstash output을 es에 넣을거니까 output elasticsearch 플러그인을 설치해준다. - $ ./bin/logstash-plugin insta..

producer로 kafka server에 message를 publish했지만 consumer가 메세지를 받아오지 못하고 있다 해결 comsume해올 partition을 지정해주라고 한다 ~/kafka$ ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --partition 0 --from-beginning 성공 consume 실행 전 publish된 메세지도 가져오기 위해서는 --from-beginning 옵션을 붙여줘야한다 ✅ 왜 partition을 지정해줘야할까? __consumer_offsets라는 topic이 kafka에서 생성되었는지 확인해야 하며, 이 항목이 없을 때 파티션을 수동으로 지정해야 합니다...

producer에서 kafka server로 메세지를 보냈을 때 consumer가 메세지를 받아오지 못하는 현상을 해결하는 과정에서 발생한 에러 ./bin/kafka-consumer-groups.sh 실행 시 에러 발생 - ~/kafka$ ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 카프카에서 토픽 생성하고 ~/kafka$ ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 >> test 토픽이 정상적으로 생성됨을 확인 # producer ~/kafka$ ./bin/kafka-cons..

kafka server failed to start zookeeper 서버는 정상 실행되고 있으나 kafka 서버가 시작과 동시에 fail되는 현상이 있었다. $ cd ~kafka/logs $ cat server.log 카프카 서버의 로그를 확인했다 kafka.common.InconsistentClusterIdException: The Cluster ID doesn't match stored clusterId Some in meta.properties. ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: ..

우분투에서 카프카 설치 kafka사용 시 사용할 사용자 추가 카프카가 네트워크 요청을 처리할 수 있기 때문에, 누군가가 카프카 서버를 손상 시킬 시 우분투 손상을 최소화 하기 위해 kafka 전용 사용자를 새로 만들어 사용하는 것이 좋다 $ sudo adduser kafka kafka 사용자 추가 $ sudo adduser kafka sudo kafka 사용자를 sudo 그룹에 추가 $ su -l kafka kafka 사용자에 로그인 kafka binary 파일 다운로드 및 압축 풀기 $ mkdir ~/Downloads 파일을 저장할 Downloads 폴더 생성 $ curl "https://downloads.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz" -o ~/Down..

Elasticsearch가 정상적으로 실행되지 않고 fail 되는 현상이 있었다. 내 노트북 램이 8GB여서 뭔가... 용량이 안 돼서 시작을 못하는 느낌 힙 사이즈 조절 $ su 루트 계정으로 접속해 jvm.options 파일에 접근한다. default 값이었던 -Xms4g -Xmx4g를 -Xms1024m -Xms1024m로 바꿔준다. sudo systemctl restart elasticsearch sudo systemctl status elasticsearch 재시작 후 상태를 확인해보니 정상 작동되고 있는 것을 확인했다! 램을 사다가 붙여야되나😅 앞으로 elk 뿐만아니라 kafka까지 붙이려고 하는데 내 띵패가 버텨줄까...?

현재 8.4 버전이 설치되어있는데, 프로젝트 진행할 때 7.17 버전을 사용하기로 해서 제거 후 재설치를 진행하고자 한다. ElasticSearch 및 Kibana 제거 $ sudo apt-get --purge autoremove elasticsearch $ sudo apt-get --purge autoremove kibana 완전 제거 제거 명령 실행 시, 아래 경고와 함께 관련 폴더가 완전히 제거되지 않았음을 알 수 있기 때문에 완전히 제거해주도록 한다. $ sudo rm -rf /var/lib/elasticsearch $ sudo rm -rf /etc/elasticsearch $ sudo rm -rf /var/lib/kibana $ sudo rm -rf /etc/kibana 소스트리에서 elasti..