NIRVANA

https://nervertheless.tistory.com/232 [Airflow] airflow - spark 연동프로젝트를 진행하다보니 airflow에서 spark job을 실행해야 하는 일이 생겼다.SparkSubmitOperator를 사용하여 spark job을 실행하기 위해서는 airflow에 설치 되어야 할 것들이 몇개 있다.  📌Airflow 설치 목nervertheless.tistory.com 여기서 aws 연결하는 잡이 실행이 더 안되고 멈추는 상황이 발생했었다.   spark에서는 잘 실행이 되었어서 뭐가 문제인지 도저히 모르겠어서 답답했었다.  여러 테스트 코드로 실행을 해보다가 실행이 잘되던 코드도 sparksession을 aws에 있던 세션으로 사용되니까 계속 실행중 상태에 머..

프로젝트를 진행하다보니 airflow에서 spark job을 실행해야 하는 일이 생겼다.SparkSubmitOperator를 사용하여 spark job을 실행하기 위해서는 airflow에 설치 되어야 할 것들이 몇개 있다.  📌Airflow 설치 목록apache-airflow-providers-apache-spark  모듈(python)spark binaryjavahadoop aws aws-java-sdk-bundle 사실 뒤에 2개는 s3에서 파일을 읽어와야 해서 필요한 거고 앞에 3개만 있어도 된다.   먼저 SparkSubmitOperator에 대해 짧게 알아 보려고 한다(왜냐면 내가 SparkSubmitOperator 개념을 안 알아보고 하다가 3일 삽질을 했으므로)  SparkSubmitOpe..