728x90
분산 파일 시스템
- HDFS(Hadoop Distrivuted File System)
리소스 관리자
-YARN(Yet Another ResourceNegotiation)
분산처리
- MapReduce
Hadoop의 역사
Hadoop ecosystem
-보이는것 외에도 더 있습니다.
더보기
수집을 위한 프로젝트는 plum 등이 있다.
데이터 처리는 Hive MapReduce 그리고 spark 이고
Spark 이 요즘 많이 쓰입니다.
HIve는 sql를 통해서 처리한다.
대표적으로 스트림 처리 기능은 Flink 가 있다.
카프카 역시 스트림 처리 기능이 존재합니다.
분산처리 기반을 제공하는 HDFS 가 있다.
728x90