isPowerfulBlog

kafka cluster를 실행하면 compose의 broker에 접속해 직접 producer와 consumer를 통신해볼 수 있었다. 근데 나는 producer코드를 짜고 consumer코드를 짜서 각각 도커 컨테이너를 띄우고 카프카 컨테이너로 통신하고 싶었다. 이런 그림을 원한다! 그래서 아래 세 개를 network로 묶어주기로 했다. Producer 컨테이너 Consumer 컨테이너 Kafka Cluster Compose 컨테이너 docker compose에서 network 설정 # kafka-cluster/docker-compose.yaml version: "2" services: zookeeper: ... broker: ... networks: default: name: my-network se..

도커이미지를 이용해서 간편하게 단일 브로커 Kafka 클러스터를 구성해보기 이미지 출처: https://www.tutorialspoint.com/apache_kafka/apache_kafka_cluster_architecture.htm 카프카를 운영하기 위해서 kafka cluster zookeeper: kafka cluster 관리 가 필요하다 Requirements Docker Hub에 있는 confluentinc의 zookeeper, broker 이미지를 사용한다. REPOSITORY TAG IMAGE ID CREATED SIZE confluentinc/cp-kafka 7.3.0 b526943eeea4 5 months ago 828MB confluentinc/cp-zookeeper 7.3.0 b3e..

ETL이란? 추출(Extract), 변환(Transform), 로드(Load) 여러 시스템의 데이터를 데이터 웨어하우스에 결합하는 과정 데이터 파이프라인을 구성하여 원시 데이터를 정리 및 구성하여 스토리지, 데이터 분석, 기계 학습 등의 용도로 준비하는 일련의 과정들 ETL 작동 방식 source 데이터 베이스에서 관련 데이터 추출 분석에 더 적합한 형식으로 데이터 변환 데이터를 대상 데이터베이스에 로드 ETL의 장점 스토리지 비용 절감 보안 ETL의 단점 유연성이 낮음 대용량 데이터일수록 Transform이 시간이 걸려 실시간에 어려움 지속 가능성 낮음.. 유지보수 어려 초기 비용이 높음 ELT란? 추출(Extract), 로드(Load), 변환(Transform)으로 ETL과 순서가 다름 비구조화된 데..

실습 무작정 하다가 amd64/python:3.9-slim에서 -slim요런 식으로 버전 뒤에 붙는 옵션이 뭔 뜻이지 싶었다. Docker Hub에서 보면 이미지가 종류가 굉장히 다양하다 name:version 제일 기본 이미지 여기서 -stretch, -buster, -jessie가 붙은 경우는 Debian 리눅스의 릴리즈 명 name:version-slim 실행을 위한 최소한의 환경이 꾸려있는 이미지 그렇기 떄문에 굉장히 가볍고 다양한 패키지가 필요할 경우에는 비추 name:version-apline 이미지를 가능한 한 작고 가볍게 만듦 Alpine 리눅스 기반, Alpine 리눅스란 가볍고 간단하고 보안성을 목적으로 개발한 리눅스 배포판 python의 경우에는 Debian과 호환되도록 제작되었기 때..

GitHub - BOAZ 18기 분석 그리고 엔지 병행으로 1년간 활동하면서 진짜진짜 새로운 걸 많이 해보고 주변 사람들 통해서 너무 많이 배운 것 같다. 이건 분석 컨퍼런스 프로젝트! (엔지도 조만간 올려야지!) ✅ 프로젝트 상세 프로젝트 기간 22년 8월 - 23년 1월 말이 5-6개월이지 주제선정, 스터디, 시행착오에3-4개월은 썼기 때문에 진짜 프로젝트에 과정에 포함된 시간은 2달 정도라고 봐야겠다. 프로젝트 주제 Anti-aginGAN for CAT based StyleGAN2 고양이의 어린 시절을 보여주는 프로젝트 사용 모델 StyleGAN2 - TensorFlow StyleGAN2 ADA - TensorFlow 환경 Google Colab, pro 깃허브 GitHub 컨퍼런스 영상 YouTu..

$ docker compose up -d docker compose 실행 docker compose 하는 과정에서 하나의 컨테이너가 정상 실행되지 않는 문제가 있었다. Docker compose 에러 로그 확인 $ docker-compose logs -f docker compose 로그 확인 내 패스워드가 성의없어서 난 에러였다! Reference https://stackoverflow.com/questions/56009180/how-to-see-error-logs-when-docker-compose-fails

문제 주어진 연결 상태로 트리를 만들어 각 노드의 부모노드 구하기 입력 첫번째 줄: 트리 길이 t 두번째 줄~2+t-1: 노드 연결 상태 출력 각 노드의 부모 노드 출력 접근 일단 연결 상태를 가지고 트리를 만든 후 dfs로 부모 노드를 구하면 되겠...다? 풀이 입력 및 트리 만들기 n = int(input()) tree = {} # make tree for _ in range(n-1): n1, n2 = map(int, input().split()) if n1 in tree: tree[n1].append(n2) else: tree[n1] = [n2] if n2 in tree: tree[n2].append(n1) else: tree[n2] = [n1] dictionary를 이용해 트리를 만들었다 dfs ..

문제 근접해있는 섬들을 이어 하나의 섬으로 침. 전체 맵에서 섬 개수 카운트 입력 첫째줄: 지도의 너비 w, 높이 h, (w, h