728x90 logging2 [Loki 기반 Logging Monitoring System 구축] Chunks 생성과 Flush 동작 구조 기존에 구성되어있던 시스템의 불편함기존에는 사용하고 있던 Logging System은 Elastic Stack을 통해 구성되어있었습니다. 각 node에 daemonset으로 배포되어 있는 filebeat를 통해 STDOUT으로 출력되는 로그를 수집하고, 버퍼 역할을 하는 Kafka에게 로그를 전달하며 ElasticSearch를 통해 집계하여 Kibana로 대시보드를 구성하여 로그를 확인하는 시스템이었습니다. 하지만 elasticsearch에는 큰 단점으로 느꼈던 점은 사전에 index를 꼭 설정해줘야 한다는 점과, timestamp로 매핑되지 않는다는 것이었습니다. 특히, 개발팀에서 수집이 되어야 하는 로그가 다양하고, key를 추가할수도, 삭제할 수도 있는데 이를 애플리케이션마다 index를 다르게 .. 2025. 1. 28. fluent-bit를 활용한 Metric Data 수집하기 들어가며 kubernetes를 상용으로 운영하기 전 CPU나 system에 대한 Metrics Data를 수집하고 시각화하여 원활한 운영을 해야할 필요가 있었습니다. 현재 EFK Stack으로 logging system을 구축해놓았었는데, 그 중 fluent-bit를 활용하여 metrics data를 수집하는 방법에 대해 다뤄보려고 합니다. CPU Metric fluent-bit의 input plugin중 cpu는 기본적으로 프로세스 혹은 전체 시스템의 CPU 사용량을 측정합니다. 설정된 시간에 대해 백분율 단위로 수집되며 현재 이 plugin은 linux에서만 사용하실 수 있습니다. key key name description cpu_p 이 값은 사용자 및 커널 공간에 소요된 사간 대비 전체 시스템의 .. 2023. 4. 26. 이전 1 다음 728x90
