isPowerfulBlog

공개된 모델을 사용할 때, TensorFlow나 PyTorch를 호환되는 버전으로 다운그레이드 해야할 때가 있다. Colab에서 default로 제공되는 TensorFlow는 2.x인데, TensorFlow 1.15로 다운그레이드 해보자 Python version downgrade 먼저TensorFlow 1.x 버전에 호환되는 버전으로 Python을 다운그레이드 해줘야한다. - !python --version 파이썬 버전확인 !wget https://www.python.org/ftp/python/3.6.9/Python-3.6.9.tgz !tar xvfz Python-3.6.9.tgz !Python-3.6.9/configure !make !sudo make install 파이썬 3.6x으로 파이썬 재설치 ..

Logstash의 Pipeline Config를 Kafka input, ElasticSearch output으로 구성해 kafka메세지를 logstash를 통해 elasticsearch로 전달하고자 한다. logstash plugin install logstash-input-kafka kafka로부터 인풋을 받을거니까 input kafka 플러그인을 설치해준다. - $ ./bin/logstash-plugin install logstash-input-kafka 난 이미 플러그인이 있긴 했다 logstash-output-elasticsearch logstash output을 es에 넣을거니까 output elasticsearch 플러그인을 설치해준다. - $ ./bin/logstash-plugin insta..

문제 가로 N/2 세로 N/2씩 잘라서 1이나 0으로만 이루어진 정사각형 만들기 입력과 출력 입력 첫째 줄에는 전체 종이의 한 변의 길이 N이 주어져 있다. N은 2, 4, 8, 16, 32, 64, 128 중 하나이다. 색종이의 각 가로줄의 정사각형칸들의 색이 윗줄부터 차례로 둘째 줄부터 마지막 줄까지 주어진다. 하얀색으로 칠해진 칸은 0, 파란색으로 칠해진 칸은 1로 주어지며, 각 숫자 사이에는 빈칸이 하나씩 있다. 출력 첫째 줄에는 잘라진 햐얀색 색종이의 개수를 출력하고, 둘째 줄에는 파란색 색종이의 개수를 출력한다. 문제 해결 요약 색종이 전체를 순회하면서 왼쪽상단(맨 처음 인덱스)와 값이 같은지 확인 다르다면 가로 세로 길이를 반으로 잘라 4등분 하고, 4개의 색종이에 대해 다시 1 진행 -> ..

producer로 kafka server에 message를 publish했지만 consumer가 메세지를 받아오지 못하고 있다 해결 comsume해올 partition을 지정해주라고 한다 ~/kafka$ ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --partition 0 --from-beginning 성공 consume 실행 전 publish된 메세지도 가져오기 위해서는 --from-beginning 옵션을 붙여줘야한다 ✅ 왜 partition을 지정해줘야할까? __consumer_offsets라는 topic이 kafka에서 생성되었는지 확인해야 하며, 이 항목이 없을 때 파티션을 수동으로 지정해야 합니다...

producer에서 kafka server로 메세지를 보냈을 때 consumer가 메세지를 받아오지 못하는 현상을 해결하는 과정에서 발생한 에러 ./bin/kafka-consumer-groups.sh 실행 시 에러 발생 - ~/kafka$ ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 카프카에서 토픽 생성하고 ~/kafka$ ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 >> test 토픽이 정상적으로 생성됨을 확인 # producer ~/kafka$ ./bin/kafka-cons..

문제 수열 A가 주어졌을 때, 가장 긴 증가하는 부분 수열을 구하기 입력과 출력 입력 첫째 줄에 수열 A의 크기 N (1 ≤ N ≤ 1,000)이 주어진다. 둘째 줄에는 수열 A를 이루고 있는 Ai가 주어진다. (1 ≤ Ai ≤ 1,000) 출력 첫째 줄에 수열 A의 가장 긴 증가하는 부분 수열의 길이를 출력한다. 문제 해결 요약 수열의 길이를 카운트하는 dp 테이블 생성(카운트값) 전체 순열을 순회하면서 i번째 수에 대해 i-1부터 첫번째 인덱스까지 역으로 순회하며 i번째 수보다 크다면 해당 수의 카운트값+1로 i번째 카운트값을 갱신 코드 설명 import 및 입력받기 - import sys input = sys.stdin.readline n = int(input()) seq = [0] seq += l..

StyleGAN을 이용한 프로젝트를 진행하면서, 어떤 특징을 특정하여 변환을 주고 싶은데 어떻게 특징을 추출해야 그게 가능할지에 대한 고민이 많았다. 찾아보니 PCA를 이용하여 특징을 추출해내는 방식에 대해서 발표한 논문이 있어 정리해보게 되었다. GANSpace PCA를 이용하여 인간의 개념으로 해석 가능한 latent direction을 찾아 해석 가능한 특징 컨트롤 방법을 제시 해석가능한 컨트롤이란 목적에 적절하게 선택 된 latent direction을 말함 Demo latent direction $$ I: z \sim p(z), \ I = G(z) $$ $I = G(z)$ 는 generator는 벡터 $z$를 input으로 하여 RGB 이미지 $I$를 생성하는 수식 ${z}$ 는 latent s..

kafka server failed to start zookeeper 서버는 정상 실행되고 있으나 kafka 서버가 시작과 동시에 fail되는 현상이 있었다. $ cd ~kafka/logs $ cat server.log 카프카 서버의 로그를 확인했다 kafka.common.InconsistentClusterIdException: The Cluster ID doesn't match stored clusterId Some in meta.properties. ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: ..