비츠 - 설치 및 사용법

p. 271

비츠는 가볍고 사용하기 쉬운 데이터 수집기 

고 프로그래밍 언어로 작성 

 

p. 272 

비츠는 가벼운 프로그램을 지향하기 때문에 하나의 목적만을 수행 

데이터를 수집하는데 특화 

로그스태시는 다양한 플러그인을 포함해 범용성이 높은 만큼 무겁게 움직이는 반면, 비츠는 범용성을 포기하고 특정 목적만 수행하도록 가볍게 구성되어 애플리케이션의 성능에 영향을 미치지 않고 필요한 이벤트를 수집할 수 있다. 

간단한 수집 - 비츠를 쓰는 것이 유리 

전문적이고 범용적인 대량 이벤트 가공 - 로그스태시가 적합 

 

p. 275 

모든 비츠를 아우르는 설치 방법이 없다 

 

p. 276 

파일비트는 로그 파일을 쉽게 수집하도록 도와주며 궁극적으로 엘라스틱과 키바나를 이용해 로그를 추적하고 통계를 만들어 활용할 수 있게 도와준다. 간단한 필터 작업도 가능 

 

p. 277

파일비트 구성요소 

구성요소	내용
입력(input)	설정 파일에서 하베스터에 대한 입력 소스를 정한다. 파일비트는 하나 혹은 여러 개의 입력을 가질 수 있다.
하베스터(harvester)	입력에 명시된 파일을 직접 수집하는 주체다. 파일은 하나의 하베스터를 가지며, 하베스터는 파일을 한 줄씩 읽고 내보내는 역할을 한다. 또한 파일을 열고 닫는 역할도 한다. 하베스터가 실행되는 동안에는 파일 디스크립터가 열려 있다.
스풀러(spooler)	하베스터가 수집한 이벤트를 엘라스틱서치나 로그스태시 같은 장소로 전달한다.

 

다운로드 

https://www.elastic.co/kr/downloads/past-releases/filebeat-7-10-1

Filebeat 7.10.1 | Elastic

root - 실행파일(fileat.exe) / 설정파일(filebeat.yml) 

module - apache, kafka 같은 모듈이 들어 있다

 

p. 279 

파일비트 설정파일 - filebeat.yml 

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/elasticsearch-7.10.2/logs/*.log

setup.kibana:
  host: "localhost:5601"
  
output.elasticsearch:
  hosts: ["localhost:9200"]

 

파일비트 인풋타입 

인풋 타입	설명
log	가장 기본이 되는 타입으로, 파일 시스템의 지정한 경로에서 로그 파일을 읽어 들인다.
container	도커 같은 컨테이너의 로그를 수집하기 위한 입력으로, 파일을 읽어 들인다는 점에서 log와 유사하다.
s3	log 타입과 유사하나, 아마존 웹 서비스의 S3 버킷에 위치한 파일을 읽어 들인다.
kafka	다른 타입과는 다르게 파일을 읽어 들이는 대신 카프카의 토픽을 읽어 들인다.

log 타입은 paths에 지정된 파일의 로그를 한 줄씩 가져오는 것을 의미한다. 

 

p. 280

파일비트 아웃풋 타입

아웃풋 타입	설명
elasticsearch	가장 많이 사용되는 타입으로, 수집한 이벤트를 엘라스틱서치로 직접 인덱싱한다.
logstash	다수의 비츠를 사용해 엘라스틱서치로 전송되는 인덱싱 리퀘스트의 양이 많거나, 비츠나 인제스트 노드 수준에서 처리하기 어려운 가공 작업이 필요할 때 별도의 로그스태시를 구축한 후 수집한 이벤트를 전송한다. 다수의 인덱싱 요청이 로그스태시에서 단일 벌크 리퀘스트로 묶여 인덱싱 효율의 개선을 기대할 수 있다. 이때 전송한 이벤트는 로그스태시의 beats 인풋을 이용해 입력받을 수 있다.
kafka	파일비트에서 1차적으로 수집한 이벤트를 카프카로 전송한다. 카프카는 좀 더 안정적인 수집 파이프라인을 구성할 때 신뢰할 만한 중간 저장소/ 큐이므로 수집 중 장애 발생 시 데이터 손실을 최소화하기 위한 방안으로 활용된다. 최종적으로 엘라스틱서치의 인덱싱을 원할 경우 이후 다시 파일비트의 카프카 인풋을 이용하거나 로그스태시의 카프카 인풋을 이용해 입력할 수 있다.
console	수집한 이벤트를 시스템 콘솔에 출력한다. 일반적으로 수집이 정상적으로 이뤄지는지 입력 설정을 테스트하기 위한 목적으로 사용된다.

 

엘라스틱서치를 아웃풋으로 지정하면 반드시 엘라스틱 서치 호스트 주소(hosts)를 적어줘야 한다. 

setup.kibana를 지정한면 키바나 대시보드에서 파일비트 데이터를 확인할 수 있다. 

 

 

파일 비트 실행하기 전 먼저 setup 옵션을 실행한다. -e는 모니터에 오류나 로그를 보여주는 옵션이다. 

.\filebeat.exe setup -e

※ 엘라스틱 서치와 kibana 실행해야지 error 안남 

 

p. 282 

실행

.\filebeat.exe -e

 

p. 283 

파일 비트 설정 

• ignore_older : 새로운 파일 탐색 시 오래된 파일은 읽어 들이지 않고 무시하기 위한 설정 
  • 기본값은 0으로, 특별히 값을 명시하지 않으면 파일의 생성/ 수정 시간과 무관하게 모든 내용을 읽어 들인다. 
• include_lines : 특정 라인을 정규 표현식을 이용해 필터링하고 매칭된 라인만 비츠에서 수용한다. 
• exclude_lines : 특정 라인을 정규식 표혀식을 이용해 필터링하고 매칭된 라인은 비츠에서 수집하지 않는다. 
• exclude_files : 패턴에 일치하는 파일을 무시할 때 사용한다. 

p. 284 

멀티라인 로그 처리 

: 하나의 로그가 여러 줄로 나올 때는 여러 라인을 하나의 로그로 인식해야 한다. 

• pattern : 정규식을 이용해 패턴을 지정 
• negate : true 일 때 패턴 일치 조건을 반전시킨다. 
• match : 멀티라인을 처리하는 방식으로 before와 after를 지정할 수 있다. 

 

p . 289 

모듈은 많이 사용되고 잘 알려진 시스템 데이터를 수집하기 위한 일반적인 설정을 사전 정의해 둔 것 

 

p. 290 

모듈의 태생이 설정 없이 간단하게 비트를 사용하려는 목적으로 출발했기 때문에 실제 설정 파일 작성은 매우 간단하다. 

 

p. 294

• 모듈 설정 파일은 파일비트 디렉토리 아래의 modules.d라는 디렉토리에 있다. 
• 비활성화된 모듈은 disabled 확장자가 붙어있고, 활성화된 모듈은 disabled 확장자가 빠진다. 
• logstash 모듈은 일반 로그와 슬로우 로그 수집을 지원 

 

p. 295

.\filebeat.exe setup

setup 명령은 엘라스틱서치와 키바나에 API를 이용해 인제스트 파이프라인, 대시보드 등을 설치하므로 엘라스틱서치와 키바나는 반드시 실행 중이어야 하며 네트워크 접근에도 문제가 없어야 한다. 

 

p. 296

.\filebeat.exe -e

파일 비트가 로그스태시 모듈에서 파일을 가져오기 위해서는 로그스태시를 실행해야 한다.