[JupyterNotebook] 주피터노트북에서 pyspark 사용하기

Jupyter Noteboot 설치

$ pip install jupyter notebook

pyspark 설치

% pip install pyspark

SPARK_HOME과 jupyter notebook 사용을 위한 설정 추가설정 추가

$ vi ~/.bashrc

export SPARK_HOME=/home/{USER}/anaconda3/lib/python{VERSION}/site-packages/pyspark
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Jupyter Notebook 포트 번호 변경

• spark의 포트번호와 겹치기 떄문에(8888) jupyter의 포트 번호를 바꿔줘야한다.

$ vi /home/{USER}/.jupyter/jupyter_notebook_config.py

• c.NotebookApp.port를 8888로 되어있다
• esc -> :/c.NotebookApp.port로 검색하면 좀 더 빨리 찾는다.
  
• 8911로 변경하고 저장해주기

Jupyter Notebook에서 PySpark 실행

• https://dbrang.tistory.com/1427 요 글에서 있던 워드카운트 간단 예제 실행해봤다 잘 됨!!!

---

References

https://dbrang.tistory.com/1427
https://koos808.tistory.com/39