ELK stack - elasticksearch, kibana, logstash 등 알아보기

 

 

 

 

ELK stack

ELK stack 이란?

 

-ELK stack은 elasticsearch, kibana, logstash, beats 로 구성된 데이터 수집, 분석 , 시각화 플랫폼이다

 

elasticsearch 란?

 

-ELK stack의 구성요소 중 하나로 주로 데이터를 검색하고 저장한다

-외부에서의 실시간 로그를 전달받는 일을 주로 한다

- mysql 과 같은 database에서 발생하고 있는 데이터들, 최근 발생한 이슈 등 외부 DBMS와의 실시간 연계가 가능하다

-루씬( Lucene) : elasticsearch의 코어엔진이며 검색을 처리하는 핵심 열할을 한다

-API를 통해서 데이터를 전송하거나 요청하기도 한다

-외부에 있는 공공데이터(코로나 확진자 추세, 맛집) 들을 API로 제공하는 경우에 연결하여 그 데이터들을 사용할 수 있다 

 

Kibana 란?

- kibana는 elastic stack 시각화 도구이다

-오직 elasticsearch와의 연계만 가능하다

-kibana는 웹을 통해 시각화 도구를 제공한다 —>모니터링, 로그, 개발환경 등을 제공한다

-포트는 5601 을 사용한다

 

logstash 란?

 

-데이터 전처리 과정을 간단한 설정만으로 수행할 수 있는 플러그인 기반의 오픈소스 데이터 처리 파이프라인 도구이다

- 다양한 로그데이터들을 수집하며 수집한 데이터를 elasticsearch로 전송한다 

-elk stack을 통해 데이터를 수집 --> 변환 --> 저장 --> 시각화 하는 과정 중 logstash는 데이터를 저장하기 전에 원하는 형태로 가공하는 역할을 한다

-logstash는 beats를 포함한 다양한 소스를 입력받을 수 있고 이를 수정하여 elasticsearch로 전송한다

 

beats 란?

-비츠는 가볍고 사용하기 쉬운 데이터 수집기이다.

-시스템에 큰 부담을 주지 않으면서 로그스태시, 엘라스틱서치와 연계해 다양한 시스템의 이벤트를 수집할 수 있게 도와준다.

-비츠는 오픈소스 라이선스를 따르며 립비트(Libbeat)라는 프레임워크를 제공하므로 사용자들이 직접 필요한 각 비트를 구현할 수 있다.