728x90 fleunt-bit1 [Loki 기반 Logging Monitoring System 구축] Chunks 생성과 Flush 동작 구조 기존에 구성되어있던 시스템의 불편함기존에는 사용하고 있던 Logging System은 Elastic Stack을 통해 구성되어있었습니다. 각 node에 daemonset으로 배포되어 있는 filebeat를 통해 STDOUT으로 출력되는 로그를 수집하고, 버퍼 역할을 하는 Kafka에게 로그를 전달하며 ElasticSearch를 통해 집계하여 Kibana로 대시보드를 구성하여 로그를 확인하는 시스템이었습니다. 하지만 elasticsearch에는 큰 단점으로 느꼈던 점은 사전에 index를 꼭 설정해줘야 한다는 점과, timestamp로 매핑되지 않는다는 것이었습니다. 특히, 개발팀에서 수집이 되어야 하는 로그가 다양하고, key를 추가할수도, 삭제할 수도 있는데 이를 애플리케이션마다 index를 다르게 .. 2025. 1. 28. 이전 1 다음 728x90
