목록Data Engineering (20)
isPowerfulBlog
엘라스틱서치가 실행되면 엘라스틱서치와 루씬 둘 다 JVM 위에서 함께 동작한다. 따라서 운영체제와 엘라스틱서치에 메모리를 잘 분배하여 할당해야한다. 루씬 루씬은 운영체제의 시스템 캐시를 통해 메모리를 활용함 시스템 캐시는 운영체제가 가지고 있는 메모리 공간 실시간 검색을 지원하기 위해서는 루씬이 최대한 많은 시스템 캐시를 확보하도록 지원해야함 엘라스틱서치 엘레스틱서치 힙에 메모리를 할당하여 메모리 활용 엘라스틱서치 인스턴스의 힙 크기 확인 $ vi jvm.options JVM이 실행될 때 기본적으로 Xms에 설정된 힙 크기로 동작 힙이 부족하다고 판단되면 Xmx에 설정된 힙 크기까지 자동으로 확장 보통 엘라스틱서치는 할당된 메모리를 최대로 쓰기 때문에 처음부터 Xms와 Xmx를 같게 설정해주는 것이 좋음..
우분투에 키바나 설치 $ sudo apt-get install kibana yaml 파일 설정 $ sudo vi /etc/kibana/kibana.yml elasticsearch.host: ["
JAVA 환경변수 설정 javac의 위치를 찾기 위해 readlink 명령어 사용 sudo vi /etc/profile profile문서에 찾은 위치 추가 (마지막 줄) 위에서 찾은 경로에서 /bin 위에 경로까지만 등록 reboot 재부팅 환경변수 잘 설정되었는지 확인 근데 elasticsearch 7.x 버전부터는 jdk가 내장되어있다고 하네😅 java-13-openjdk-amd64는 버전 에러나서 -> java-17-openjdk-amd64로 openjdk 재설치 후 환경변수도 변경해줬음! 우분투에서 엘라스틱서치 설치 우분투에서는 기본적으로 엘라스틱서치 컴포넌트 이용이 불가능하다고 한다.🤔 그래서 아래 과정을 거쳐서 설치해야함~ $ curl -fsSL https://artifacts.elastic...
작년에 처음으로 크롤링이란걸 해보고 일년만에 다시 해보는 웹 크롤링... 코드 짜면서 있었던 이슈들 정리 1. WebDriver 설치 크롬 브라우저와 크롬 웹드라이버의 버전을 꼬옥 맞춰줘야한다. 크롬 설정에서 버전 체크 후 고대로 복사해서 웹드라이버 서치해보면 나온다. 2. WebDriver 옵션들 # webdrivier options option = webdriver.ChromeOptions() option.add_argument("--start-maximized") option.add_experimental_option("useAutomationExtension", False) option.add_experimental_option("excludeSwitches", ['enable-automation..