LiteLLM Proxy로 AI 에이전트 LLM Gateway 구축 – 백서 다운로드
AI 에이전트 운영의 병목은 모델이 아니라 모델로 가는 길목입니다. 흩어진 LLM 호출 경로를 LiteLLM Proxy 한 곳으로 모으고 키 분리와 지표 수집을 다음 단계로 정하는 기준을 98쪽 백서로 정리했습니다.
AI 에이전트 운영의 병목은 모델이 아니라 모델로 가는 길목입니다. 흩어진 LLM 호출 경로를 LiteLLM Proxy 한 곳으로 모으고 키 분리와 지표 수집을 다음 단계로 정하는 기준을 98쪽 백서로 정리했습니다.
Jev는 글을 쓰지 않고 선택지 안의 결정과 확률만 돌려주는 판단 전용 AI 모델이다. 세 가지 질문 유형과 독립 평가 결과, 약점과 오픈소스 대안을 78쪽 발표자료로 정리했다.
LLM은 구글의 2017년 Transformer 논문에서 출발해 다음 단어를 확률적으로 예측하는 대규모 언어 모델입니다.
멀티 에이전트 시스템은 각자 독립된 판단 루프를 가진 에이전트 여러 개가 공동의 목표를 향해 협업하는 아키텍처입니다.
AIOps(Artificial Intelligence for IT Operations, 인공지능을 활용한 IT 운영)는 2016년 가트너(Gartner)가 제창한 개념입니다.
아래 영상이 이 글에서 짚는 네 구간을 실제 운영 화면으로 담은 2편 전체입니다.
Agentic AI는 특정 제품이 아니라, AI가 얼마나 자율적으로 판단하고 행동하는지를 가리키는 속성이자 패러다임입니다.
RAG는 외부 지식 저장소에서 질문과 관련된 문서를 검색해, 그 내용을 근거로 LLM이 답변을 생성(generation)하게 하는 기법입니다.
이 도입 파트는 총 14장으로 구성되며, 개념 이해에서 아키텍처, 도입 과제, 배경 기술까지 네 흐름으로 나눠 볼 수 있습니다.
두 계열의 차이는 한 문장으로 요약됩니다.