Apache Kafka, 대용량의 실시간 데이터 스트림처리

Apache Kafka

Apache의 대용량의 실시간 데이터 스트림을 안정적으로 처리하기 위한 분산형 이벤트 스트리밍 플랫폼

 

개발 초기에 LinkedIn에서 시작,

이를 오픈 소스로 공개하고 Apache Kafka 프로젝트로 이관

현재 Apache Software Foundation의 오픈 소스 프로젝트로 관리

재는 여러 기업과 개발자들에 의해 전 세계적으로 사용

 

대용량의 이벤트 스트리밍을 위한 플랫폼

데이터 파이프라인, 로그 수집, 메시징 시스템, 스트림 처리 등 다양한 용도로 활용

대용량의 데이터를 안전하게 전송, 저장 및 처리할 수 있도록 설계됨.