LLM은 구글의 2017년 Transformer 논문에서 출발해 다음 단어를 확률적으로 예측하는 대규모 언어 모델입니다.

쿠버네티스에서 애플리케이션은 수백 개의 Pod로 분산되고, 각 Pod는 수개의 컨테이너로 구성됩니다.

AIOps(Artificial Intelligence for IT Operations, 인공지능을 활용한 IT 운영)는 2016년 가트너(Gartner)가 제창한 개념입니다.

Active-Active(모든 사이트가 동시에 트래픽을 처리하는 구성)가 짧은 RTO를 얻는 대가는 데이터 계층의 복잡도입니다.

컨테이너는 이제 개발과 운영의 표준이 되었지만, 막상 "이미지는 왜 가볍고, 컨테이너는 가상머신과 뭐가 다르며, 여러 컨테이너를 한 번에 어떻게 띄우고, 서버 여러 대로는 어떻게 확장하는가"를 한 흐름으로 설명하려고 하면 막히는 경우가 많습니다.

쿠버네티스(Kubernetes)에서 노드는 클러스터를 구성하는 개별 머신입니다.

CNCF 가 K8s 를 AI 의 foundational infrastructure 로 공식 규정했고 GenAI 추론 운영 66% 가 이미 K8s 위에 있습니다(백서 §2).

최근 기업과 기관에서는 AI·LLM 기반 업무 자동화와 데이터 파이프라인, 챗봇 및 RAG 서비스의 도입이 필수가 되었습니다.

IT 인프라를 현대화해야 할 필요성은 점점 커지고 있습니다.

옵저버빌리티(Observability) 도구는 쿠버네티스(Kubernetes)와 마이크로서비스(MSA) 운영에 필수입니다.