목록DataEngineering (13)
NIRVANA
[Apache Kafka] 아파치 카프카란?
Apache Kafka란? 실시간으로 스트리밍 데이터를 수집, 처리하는 데 최적화된 분산 데이터 스토어 여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하는 역할 필요한 모든 곳에 대규모 데이터를 동시 이동 가능 실시간 스트리밍 데이터 파이프라인과 애플리케이션을 구축하는 데 주로 사용메시징, 스토리지, 스트림 처리를 결합하 과거 데이터를 비롯하여 실시간 데이터의 저장 및 분석을 허용ex) 사용자 활동 데이터를 기반, 사람들이 웹 사이를 어떻게 사용하는지 실시간으로 추적하는 파이프라인 구축 Kafka의 세 가지 주요 기능 레코드 스트림 게시 및 구독레코드가 생성 순서대로 레코드 스트림을 효과적으로 저장 진행 레코드 스트림의 실시간 처리 ✨ 스트리밍 데이터: 수천 개의 데이터 원본에서 연속적으로..
DataEngineering
2024. 6. 30. 18:10