목록2024/08/25 (1)
NIRVANA
[Kafka & Spark] 실시간으로 사람 detect하고 집계 테이블 만들기(2)
지난번에 Spark 연동을 못했던 게 너무 아쉬워서 지난 글에 이어서 Spark 연동 후 집계 테이블을 mongodb에 적재하기를 해보려고 합니다. 근데 먼저 결론부터 말하면 실패해서 지금 열심히 수정하고 있습니다... 1. docker-compose.yml 파일 수정하기 Spark와 MongoDB를 사용하기 위해서 docker-compose.yml 파일을 다음과 같이 수정했다. version: '3'services: zookeeper: image: zookeeper restart: always hostname: zookeeper ports: - "2181:2181" environment: ZOOKEEPER_CLIENT_PORT: 2181 ZO..
DataEngineering
2024. 8. 25. 21:38