[NCP] RUA, ELSA, Cloud Hadoop, Elasticsearch, Cloud Data-streaming 소개

네이버클라우드플랫폼 Analytics - RUA

"RUA(Real User Analytics)는 실제로 웹사이트에 접속하는 End-User 단에서의 체감 성능 정보를 수집할 수 있습니다"

• 실시간 성능 데이터 수집
  • 실제 사용자로부터 실시간으로 수집되는 데이터를 통해 웹사이트에서 일어나는 다양한 이슈에 대하여 효과적인 대응이 가능합니다.
• 직관적인 대시보드 제공
  • 국가, OS, 브라우저, 페이지 별 속도 정보를 대시보드 그래프를 통해 확인이 가능합니다.

네이버클라우드플랫폼 RUA 상세 기능 - RUA 서비스 신청하기

네이버클라우드플랫폼 RUA 상세 기능 - Real time Dashboard

네이버클라우드플랫폼 RUA 상세 기능 - Page Load Speed Dashboard

네이버클라우드플랫폼 Analytics - ELSA

"애플리케이션 로그를 쉽게 저장하고 분석할 수 있는 서비스"

• 직관적인 대시 보드 제공
  • 대시보드를 통해 실시간으로 발생하는 로그를 확인할 수도 있으며, 찾고자 하는 로그를 쉽게 검색할 수 있어 장애나 이슈의 원인을 파악하는데 용이합니다.
• 모바일 크래시 로그 분석 기능 제공
  • ELSA 모바일 SDK를 사용하여 앱 크러쉬 정보를 저장하고 분석할 수 있습니다.

네이버클라우드플랫폼 ELSA 상세 기능 - Integrated Log Search Board

• 다양한 Widget 기능을 통해 저장된 애플리케이션 로그 정보를 하나의 Dashboard에서 확인할 수 잇습니다.
• Dashboard에서 확인하는 정보는 실시간으로 발생되는 데이터를 Aggregate 하여 보여줍니다.
  

  

네이버클라우드플랫폼 ELSA 상세 기능 - Log Search

• MC 화면의 Log Search에서는 기본값으로 현재 시간기준으로 24시간 동안 발생한 로그에 대한 시간대별 로그 수집 개수 그래프와 상세 로그 형태로 제공됩니다.
• 실시간으로 저장되는 로그 정보를 로그레벨, 키워드, 기간 등 다양한 조건으로 통합 검색이 가능하며 발생되는 시간대 별로 저장하여 차트를 통해 확인할 수도 있습니다.
• 빠른 필터 기능도 제공하여 빠르게 로그 검색이 가능합니다.

  

네이버클라우드플랫폼 ELSA 상세 기능 - Mobile App Crash

• MC의 App Crash에서는 iOS와 Android 단말의 크래시 정보를 확인할 수 있씁니다.
• 기본값으로 24시간 동안 발생한 크래시 상세 로그 및 크래시 횟수 그래프 형태로 나타납니다.
• 앱 크래시 조회화면에서 특정 예외 종류의 상세 버튼을 클릭하면 크래시의 스택 트레이스를 확인할 수 있습니다.

  

네이버클라우드플랫폼 Analytics - Cloud Hadoop

"빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 분석 서비스"

네이버클라우드플랫폼 Cloud Hadoop 핵심 기능 - Object Storage 활용 (HDFS와 마찬가지)

• 분석에 필요한 성능만큼 컴퓨팅 노드 확장/축소 가능
• 용량 걱정 없이 저장할 수 있는 Object Storage 활용
• 데이터 노드를 동적으로 계속 늘리고 줄이고 하는 것이 자유로움 (컴퓨팅 노드와 스토리지 분리)
• 원래 다른경우 일반적으로 클러스터 안에 추가해야하면 많은부분을 바꾸어주어야 하기때문에 일반적으로하면 어려움

네이버클라우드플랫폼 Cloud Hadoop - 다양한 프레임 워크 지원

• Core Hadoop, Hbase, Spark 등의 오픈 소스 프레임워크 제공합니다.

  

Cloud Hadoop

상세 기능

• 쉽고 간단하게 클러스터 생성
  • Hadoop, Hbase, Spark, Hive, Presto 등의 오픈 소스 프레임워크 설치, 구성이 최적화된 클러스터가 생성되어 사용자는 바로 분석에 필욯나 작업을 수행가능
• 다양한 유형의 서버 타입 제공
  • 분석에 필요한 성능에 맞춰서 다양한 서버를 선택하여, 빠르게 대량의 데이터 분석이 가능
• 다양한 유형의 스토리지 제공
  • 기본 저장소(HDFS)로 Block Storage를 지원
  • Object Storage와도 연동이 가능
  • 클러스터 설치시에는 필수로 두개의 마스터 노드를 만들게됨
• 고 가용성 확보
  • 클러스터 생성시 필수로 2대의 마스터 노드를 제공하여 이중화 구성하고 고가용성 보장
• 손쉬운 컴퓨팅 노드 확장
  • 클릭 몇 번 만으로 클러스터 작업자 노드 수를 증가하거나, 축소가 가능
• 외부 접속을 위한 Edge Node 제공
  • 외부 접속을 위한 Edge Node를 분리하여 자원의 효율성과 보안성을 제공

Hadoop 구성 아키텍처

• 아키텍쳐

  

Hadoop Cluster

• Core Hadoop
  • HDFS, YARN, HIVE, HUE, RANGER
• Presto
  • Presto, HDFS YARN, HUE, Zepplin Notebook, Ranger
• Hbase
  • HDFS, YARNm HIVE, Hbase, Zookeeper, RANGER
• Spark
  • HDFS, YARN, spark, HIVE, HUE, Zepplin Notebook, RANGER네이버클라우드플랫폼 Cloud Search"사용자의 웸사이트에 필요한 검색 기능을 손쉽게 구현할 수 있도록 돕는 클라우드 기반의 개발 플랫폼입니다"

    

    
    네이버 검색엔진을 탑재한 컨테이너(VM)를 만들고 사용자가 데이터를 밀어넣게되면 그걸 분석해서 검색 인덱션을 만듦

네이버클라우드플랫폼 Cloud Search - 검색 서비스 구현 Wizard

네이버클라우드플랫폼 Cloud Search - 다양한 인덱싱 구성 옵션

네이버클라우드플랫폼 ElasticSearch

• Elasticsearch Service는 네이버 클라우드 플랫폼에서 Elasticsearch 클러스터를 손쉽게 배포, 보호, 운영 및 확장하여 로그분석, 검색 App 모니터링 등을 수행할 수 잇또록 제공하고 있는 관리형 서비스 입니다.
• Elasticsearch Cluster는 1대의 매니저 노드와 3대 이상의 데이터 노드로 구성되어, 총 최소 4대의 서버로 구성됩니다.
• 데이터 노드 수는 최대 10대까지 추가가 가능합니다.

Elasticsearch Kibana 연계

• Elasticsearch service는 데이터 분석 및 시각화 플랫폼인 Kibana와 연계되어 있어 데이터를 시각화 할 수 있습니다.

  

Elasticsearch Kibana Dashboard

• 클러스터 노드의 목록, 상태, 인덱스의 목록 및 용량 등에 대해 대시보드 형태로 확인이 가능합니다.

  

Cloud Data Streaming Service (Classic/VPC 공통)

• Apache Kafka Cluster를 쉽고 간편하게 구축
  • 링크드인에서 개발된 분산 메시지 시스템으로 다양한 데이터 혹은 API 호출을 처리하는 메시지 시스템
  • 기존 메시징 시스템 대비 단순하면서 뛰어난 TPS를 나타냄
  • 매니저 노드 1대, Broker 노드 최소 3대로 시작
  • VPC 내부에 구성
  • 클러스터 관리는 CMAK를 통해 관리

    

    
    데이터를 메시지나 API호출을 좀 더 구조적으로 쓸 수 있음