LLM 도입이 실패하는 이유는 GPU가 부족해서가 아니다
LLM은 구글의 2017년 Transformer 논문에서 출발해 다음 단어를 확률적으로 예측하는 대규모 언어 모델입니다.
LLM은 구글의 2017년 Transformer 논문에서 출발해 다음 단어를 확률적으로 예측하는 대규모 언어 모델입니다.
AIOps(Artificial Intelligence for IT Operations, 인공지능을 활용한 IT 운영)는 2016년 가트너(Gartner)가 제창한 개념입니다.
시스템을 여러 개의 마이크로서비스로 나누면서 배포 속도는 빨라졌지만, 하나의 요청이 어느 서비스에서 지연되는지, 어떤 서비스가 어떤 서비스를 호출하는지를 외부에서 추적하기는 더 어려워졌습니다.
최근 IT 인프라 환경은 복잡성과 규모가 급격히 증가함에 따라 기존의 단순 모니터링 방식만으로는 장애 탐지와 문제 해결, 서비스 연속성 확보에 한계가 명확하게 드러나고 있습니다.
옵저버빌리티(Observability) 도구는 쿠버네티스(Kubernetes)와 마이크로서비스(MSA) 운영에 필수입니다.
애플리케이션의 성능을 모니터링할 때 가장 직관적이면서도 중요한 지표는 무엇일까요?
웹 서비스의 신뢰성은 눈에 보이지 않는 약속, 즉 HTTP 응답 코드 위에 세워집니다.
과거의 모니터링이 "시스템이 죽었는가, 살았는가?"를 확인하는 수동적인 행위였다면, Observability(관측 가능성)는 "시스템이 왜 느려졌으며, 어떤 맥락에서 문제가 발생했는가?"를 능동적으로 파악하는 능력입니다.
MSA 환경에서 Observability의 필요성과 SRE의 핵심 요소를 설명하고, 이를 효과적으로 구현하는 방법을 제시합니다.