목록2024/08/11 (1)
NIRVANA
[Apache Hadoop] 하둡(Hadoop)이란?
하둡(Hadoop)이란?High-Availability Distributed Object-Oriented Platform빅데이터를 저장, 처리, 분석할 수 있는 자바 소프트웨어 프레임워크대용량의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리를 위한 오픈 소스 프레임워크 하둡 개발 배경야후(Yahoo!)의 더그 커팅이 검색 엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB 기술로 처리하는 데에 한계를 발견구글에서 발표한 GFS와 MapReduce 관련 논문을 참고하여 개발이후 Apache 재단으로 프로젝트가 넘어가 오픈 소스로 공개됨 💡구글 GFS와 MapReduceGFS(Google File System, 구글 파일 시스템)구글 파일 시스템은..
DataEngineering
2024. 8. 11. 21:42