빅데이터 플랫폼 이해하기

빅데이터 플랫폼이란?

 

플랫폼의 정의

 

오늘날 굉장히 다양한 것들을 말합니다. 

많은 사람들이 쉽게 이용할수 있고 다양한 목적의 비지니스가 이루어지는 공간

 

 

플랫폼은 프랑스 어원에서 나왔습니다.

 

플랫폼을 떠올리면 기차역을 쉽게 말할수 있습니다. 

 

하드웨어 플랫폼이란 - 동일한 제품을 일정한 품질로 만드는 프로세스와 그 제품을 만드는 장치

 

소프트웨어 실행할수 있는 기반이나 환경

Java Platform 

• -JVM 
• -OS
• -Hardware

 

서비스플랫폼

서비스 제공자의 서비스를 다른 서비스들이 쉬벡 사용할 수 있게 해주는 환경

예) 앱스토어 플랫폼이 있습니다. 

 

빅데이터 플랫폼

Big data + Platform 합성어입니다.

 - 기업내에 많은 사용자들이 데이터를 처리하고 분석을 쉽게 할수 있는 환경을 제공해주는 시스템

 

\빅데이터 플랫폼 요구사항

데이터 수집 처리 및 저장

데이터 발견 검색 보안 제공

데이터 분석 및 ML 지원

 

빅데이터 아키텍처

빅데이터 아키텍처 개요

Data의 종류

 정형(structured) 데이터

 - RDBMS,스프레드시트

 

비정형(unstructured)데이터

-텍스트 이미지 음성 영상

 

반정형(semi-structured)데이터

-JSON,XML,웹로그,센서 데이터

 

Data Source의 종류

데이터베이스 - 회사내의 데이터들을 말하는것

OLTP 데이터베이스 

이벤트 컬렉터

• -사용자가 만드는 데이터 또한 소스가 될수있습니다.

로그

• -웹서버 혹은 모든 서버의 로그(로그를 분석하거나 활용할수있다.)
• api( 외부 서비스 데이터를 가져오기 위해서 API 를 가져옵니다. ) 

 

파일

오브젝트 스토리지

기타

 

 

Data Ingestion and Processing

배치형 데이터 수집

-데이터베이스

-파일

스트리밍형 데이터 수집

-애플리케이션 이벤트

-로그

-센서 데이터 

 

대표적인것들 : 

• Flume
• Scoop
• Kafka
• Nifi
• Fluentd

배치 처리

 

• -MapReduce
• -spark
• -Hive

 

스트림 처리

• -Flink
• -Spark
• -Kafka

 

Lambda VS Kappa