NIRVANA

https://nervertheless.tistory.com/232 [Airflow] airflow - spark 연동프로젝트를 진행하다보니 airflow에서 spark job을 실행해야 하는 일이 생겼다.SparkSubmitOperator를 사용하여 spark job을 실행하기 위해서는 airflow에 설치 되어야 할 것들이 몇개 있다.  📌Airflow 설치 목nervertheless.tistory.com 여기서 aws 연결하는 잡이 실행이 더 안되고 멈추는 상황이 발생했었다.   spark에서는 잘 실행이 되었어서 뭐가 문제인지 도저히 모르겠어서 답답했었다.  여러 테스트 코드로 실행을 해보다가 실행이 잘되던 코드도 sparksession을 aws에 있던 세션으로 사용되니까 계속 실행중 상태에 머..

Elasticbeanstalk으로 어플리케이션 환경을 생성했는데 무슨 이유 때문인지 EC2 프로비저닝에 실패했다 이유는 차차 찾기로 하고 해당 애플리케이션을 삭제 한 후, Elasticbeanstalk으로 만들어진 S3도 함께 삭제하려고 하는데  엥 삭제가 안됨 나한테 권한이 없대 내가 root 사용자인데...너무 당황스러웠지만 공식 문서에 삭제 방법이 잘 나와 있다. 자세히 살펴보니까 버킷 삭제 할 때도 elasticbeanstalk으로 만든 거면 관련 정책부터 삭제 하라고 나와 있음 https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/AWSHowTo.S3.html Amazon S3에서 Elastic Beanstalk 사용 - AWS Elasti..

각자 PR 만들고 머지한 후 그 다음에.. 각자 로컬에서 업데이트하기 +) 꼭 자기 브랜치에서 커밋해두기.. 이상.. 오늘 코드 날려먹은 사람의 눈물의 회고록..

git clone 저장소 주소 cd 폴더 올리려는 폴더 주소 git checkout -b 새로 생성한 브랜치이름 git branch --set-upstream-to origin/main git fetch 저장소 주소 (파일 올리고 나서) git add 파일 이름 git commit -m "커밋 메시지" git push origin 브랜치이름 후에 저장소 가서 PR 참고: https://jalynne-kim.medium.com/%EA%B9%83-%ED%9D%90%EB%A6%84-%EA%B9%83%ED%97%88%EB%B8%8C-%EB%B8%8C%EB%9E%9C%EC%B9%98-%EB%A7%8C%EB%93%A4%EA%B3%A0-%EC%97%85%EB%A1%9C%EB%93%9C-%ED%95%98%EA%B8%B..

로컬 컴퓨터의 apache 2.4을(를) 시작하지 못했습니다 이 오류 발생 오류가 발생한 이유를 찾아야함 https://blog.naver.com/PostView.naver?blogId=bluesketch21&logNo=222504314597&redirect=Dlog&widgetTypeCall=true&directAccess=false 아파치 웹서버 서비스 실행시 "로컬 컴퓨터의 Apache2.4을(를) 시작하지 못했습니다..." 오류 해결 아파치 버전: Apache-httpd64-2.4.41-httpd-2.4.41-o102s-x64-vc14-r2 1. httpd.conf 파일의 몇가지 내용... blog.naver.com php8_module이 없는 거여서 그렇다 https://programming-w..

보호되어 있는 글입니다.