SCP에서는 아래의 분석서비스 설계 서비스를 제공한다.
Kafka
웹기반 콘솔을 통해 Apache Kafka 생성/설정/관리를 자동화하는 서비스
데이터수집, 로그수집 등 이벤트가 사용되는 모든곳에서 사용가능
주로 데이터 분석도구인 Elasticsearch, Hadoop과 같은 기술과 같은 기술이 사용된다.
https://standout.tistory.com/1307
Apache Kafka, 대용량의 실시간 데이터 스트림처리
Apache Kafka Apache의 대용량의 실시간 데이터 스트림을 안정적으로 처리하기 위한 분산형 이벤트 스트리밍 플랫폼 개발 초기에 LinkedIn에서 시작, 이를 오픈 소스로 공개하고 Apache Kafka 프로젝트로
standout.tistory.com
https://standout.tistory.com/1316
Hadoop 기반의 데이터 플랫폼에서 보안 및 접근 제어를 관리하는 Apache Ranger
Apache Ranger Apache 소프트웨어 재단에서 개발 Hadoop 기반의 데이터 플랫폼에서 보안 및 접근 제어를 관리하기 위한 오픈 소스 프로젝트 데이터에 대한 편리하고 정교한 보안 정책을 설정하고 관리
standout.tistory.com
Elasticsearch
검색 및 분석엔진을 간편하게 생성 관리
특정목적에 최적화된 에이전트 역할의 경량수집기 Beats
데이터를 수집해 필터를 통해 변환 후 전송해주는 Logstash
검색이 가능한 오픈소스 분석엔진 Elasticsearch
데이터 시각화 플랫폼 Kibana로 구성됨.
상품을 중앙집중적으로 관리하기 위해 web UI가 제공된다.
Cloud Hadoop
쉽고 빠른 빅데이터 처리/분석
데이터수집을하는 Data Ingestion과 데이터를 처리하는 Data Process/Analytics가 있다.
Cloud Hadoop Manager로 애플리케이션 배포 관리, 버전관리, 모니터링 등의 기능을 사용할 수 있다.
Data Ops
데이터처리작업을 위한 워크플로우를 작성하고 작업수행을 자동화
Data Flow
다양한 소스로부터 데이터를 추출/변환/전송
Data Wrangler
쉽고빠르게 데이터를 탐색하고 원하는 형태로 재구성
SQream
빅데이터 분석에 특화된 GPU 기반의 데이터베이스
Vertica
대용량 데이터 분석/처리를 위한 DataWarehouse 기반 고가용성 엔터프라이즈 데이터베이스
Greenplum
대용량 정형 비정형 데이터 분석 플랫폼
Quick Query
Object Storage에 저장된 데이터를 빠르게 분석하는 대화형 쿼리 서비스
