Beats
Beats
- beats는 elasticstack에서 로그데이터 수집 및 전송을 위한 경량 에이전트이다
- 여기서 에이전트는 주로 분산된 환경에서 데이터 수집 등의 역할을 수행한느 소프트웨어이다
- beats는 가볍고 사용하기 쉬운 데이터 수집기이다
- beats는 오픈소스 라이선스를 따르며 libbeat라는 프레임워크를 제공하므로 사용자들이 직접 필요한 각 비트를 구현할 수 있다
- beats로 로그를 수집하고 logstash에서 필요한 추가 처리 및 변환을 수행한 후 elasticsearch로 전송하는 등의 조합이 사용되는 경우가 많다
[beats의 일반적인 동작 원리]
비트 다운로드 --> 비트 설정 파일 수정 --> 엘라스틱서치나 키바나 대시보드를 사용할 수 있도록 설정 -->비트 시작--> 키바나 대시보드에서 데이터 확인
[elastic에서 공식적으로 지원하는 beats]
- 파일비트 ( 로그 파일 수집 )
- 메트릭비트 ( 메트릭 수집 )
- 패킷 비트 ( 네트워크 데이터 수집)
- 원로그비트 ( 윈도우 이벤트 로그 수집)
- 오딧 비트 ( 감사 데이터 수집)
- 하트비트 ( 가동 시간 모니터링 데이터 수집 )
- 펑션 비트 ( 서버리스 데이터 수집 )
File beat
- 서버나 시스템을 운영하다보면 수많은 로그파일들이 파일 형태로 발생한다. 파일 비트는 이러한 로그 파일을 쉽게 수집하도록 도와주며 궁극적으로 Elastic 과 Kibana를 이용해 로그를 추적하고 통계를 만들어 활용할 수 있게 도와준다
| 구성요소 | 내용 |
| input | 설정 파일에서 하베스터에 대한 입력 소스를 정한다. 파일비트는 하나 혹은 여러 개의 입력을 가질 수 있다 |
| harvester | 입력에 명시된 파일을 직접 수집하는 주체이다. 파일은 하나의 하베스터를 가지며, 하베스터는 파일을 한 줄씩 읽고 내보내는 역할을 한다. 또한 파일을 열고 닫는 역할도 한다. 하베스터가 실행되는 동안에는 파일디스크립터가 열려 있다. |
| spooler | 하베스터가 수집한 이벤트를 elasticsearch나 logstash 같은 장소로 전달한다 |
'클라우드' 카테고리의 다른 글
| Ansible - 정의 및 설치하기 (0) | 2024.03.05 |
|---|---|
| Logstash - 정의 , 플러그인의 종류 (0) | 2024.02.28 |
| Auto Scaling 및 모니터링을 통한 Docker 컨테이너 관리 시스템 구축하기 (1) | 2024.02.13 |
| Elasticsearch 집계, Query DSL (0) | 2024.01.31 |
| Elasticsearch의 내부구조, 관련용어 , mapping 타입 (0) | 2024.01.31 |