아파치 카프카란 무엇인가?한마디로 말 하자면 Data inMotion platform이라고 말할수 있습니다. 즉, 움직이는 데이터를 처리하는 플랫폼이라고 하면서 또 다른 말로 하자면 Event Streaming Platform 이라고 합니다.실시간으로 흐르는 이벤트를 받아서 데이터가 필요한곳으로 데이터를 전송해주는것!  Event는 비지니스 상에서 흐르는 모든 일들을 (Data)을 의미합니다. 예시로는우리가 웹 상에서 클릭송금청구서 발행위치정보택시 GPS, 배달 기사분들의 실시간 위치센서의 온도/압력 데이터이러한 Event의 특징은 BigData의 특징을 가지고있습니다.비지니스 모든 영역에서 광범위하게 발생대용량의 데이터가 발생끝임없이 데이터가 들어오기 때문에 event stream 이라고 부르고있습니다..

안녕하세요, 카프카에 관련된 글을 적기 위해서 고민을 하던차에 미국의 대기업 중 하나인 월마트의 카프카 사용에 대한 좋은 글을 읽게 되어서 먼저 공유를 하고 점차적으로 글을 공유하려고합니다.먼저 카프카에 대해서 어느정도 알고 있다면 큰 어려움 없이 읽을수 있을거같습니다. 요약Walmart는 여러 클라우드(퍼블릭 및 프라이빗)에 걸쳐 25,000명 이상의 Kafka 소비자와 함께 Apache Kafka를 배포하고 있습니다. 데이터 이동, 이벤트 기반 마이크로서비스, 스트리밍 분석 등 비즈니스에 중요한 사용 사례를 지원합니다. 이러한 사용 사례는 99.99의 가용성을 요구하며 갑작스러운 트래픽 급증으로 인해 발생하는 백로그를 신속하게 처리해야 합니다. Walmart 규모에서는 여러 언어로 작성된 다양한 Ka..