클라우드 네이티브와 MSA가 확산되면서, 이제 IT 운영은 단순한 시스템 모니터링을 넘어 데이터 기반의 지능형 운영 인텔리전스 시대로 진입하고 있습니다.

이번 백서는 OPENMARU Cluster, OPENMARU APM, 그리고 LLM(대규모 언어 모델) 을 하나의 아키텍처로 통합하여, 운영 데이터를 자연어로 분석하고 제어할 수 있는 새로운 접근법을 제시합니다.

복잡한 MSA 환경에서는 “어떤 사용자가, 어떤 시점에, 어떤 URL에서 문제를 겪었는가?”라는 기본적인 질문에 답하는 일조차 쉽지 않습니다. APM은 트랜잭션 성능을 세밀하게 추적하지만, 사용자의 전체 행동 흐름(세션 컨텍스트)은 놓칩니다. 반대로 세션 클러스터는 사용자의 상태를 관리하지만, 과거 트랜잭션 정보를 보존하지 못합니다.

이 백서는 이러한 단절된 데이터를 하나의 맥락으로 엮어 운영 데이터의 흐름을 LLM이 이해하고 활용할 수 있는 형태로 재구성하는 방법을 제시합니다.

이 백서는 AI를 활용한 운영 인텔리전스의 기술적 기반을 명확히 설명합니다.

단순히 모니터링 시스템을 개선하는 것이 아니라, 실시간 데이터(세션) 와 과거 데이터(APM) 를 하나의 구조로 결합하여 LLM이 신뢰성 있게 분석할 수 있는 환경을 만드는 것이 핵심입니다.

특히, “동시접속자수”와 “URL별 부하”, “CPU 사용률” 등 다양한 운영 지표를 상호 연결하고, 이를 JSON과 같은 구조화된 포맷으로 변환하여 LLM이 사실 기반으로 답변을 생성할 수 있도록 하는 데이터 파이프라인 설계 방법을 다룹니다.

이 백서는 다음과 같은 전문가들에게 가장 유용합니다.

• IT 의사결정자

MSA·쿠버네티스 기반 환경으로 전환한 뒤, 대시보드 중심의 사후 대응을 벗어나 AI 기반의 능동형 운영 체계를 고민하는 분.

• 플랫폼 엔지니어 및 운영 책임자(SRE)

시스템 병목을 URL·CPU·스레드풀 단위까지 분석하고, 사용자 여정 전체를 추적하는 통합 운영 모델을 설계하려는 분.

• 애플리케이션 아키텍트

세션 외부화(IMDG), 트랜잭션 영속화(APM DB), OpenTelemetry 기반의 표준 스키마 등 엔드투엔드 데이터 흐름을 설계해야 하는 분.

핵심은 명확합니다.

세션, 트랜잭션, 사용자 데이터를 하나의 타임라인으로 엮고, 이를 LLM이 이해할 수 있는 문맥으로 제공하는 것입니다.

OPENMARU Cluster는 인메모리 데이터 그리드(IMDG) 기반으로 세션의 안정성과 일관성을 보장하고, OPENMARU APM은 트랜잭션 단위의 성능 정보를 영구적으로 저장합니다. 이 두 데이터를 결합하면, 과거와 현재의 운영 상태를 하나의 관점에서 볼 수 있게 됩니다.

이후 LLM은 이 통합 데이터를 분석하여, “CPU 사용량이 급증한 원인이 된 URL은 무엇인가?”, “어떤 사용자가 가장 많은 부하를 유발했는가?” 같은 질문에 자연어로, 근거를 가진 답변을 제공합니다.

현대의 클라우드 네이티브 환경에서는 APM과 세션 관리가 분리되어 있어, 장애 원인을 정확히 추적하기 어렵습니다. 백서는 이 두 영역을 통합해야 하는 이유와 이를 LLM이 이해할 수 있는 형태로 변환하는 과정을 구체적으로 설명합니다.

또한 OpenTelemetry 표준을 활용해, 데이터의 상호운용성을 확보하는 전략을 제시합니다.

세션을 WAS 외부의 인메모리 데이터 그리드에 저장함으로써, 장애 시에도 세션을 보존하고 노드를 수평 확장할 수 있습니다.

Redis 같은 일반 캐시 시스템과 달리 IMDG는 강한 일관성(Strong Consistency) 과 자동 리밸런싱을 통해 대규모 트래픽 환경에서도 안정적인 운영을 가능하게 합니다.

OPENMARU APM은 URL, 응답시간, TPS, 동시 사용자, DB 쿼리 등 핵심 지표를 수집하고, 이를 세션 데이터와 결합해 사용자 중심의 성능 분석을 실현합니다.

이 구조는 단순한 로그 수집이 아닌, 장애 원인 재현(Replay) 과 RCA(Root Cause Analysis) 에 최적화된 데이터 기반을 제공합니다.

AI API 서버가 사용자의 자연어 질의를 분석해, 실시간 데이터는 세션 서버에서, 과거 데이터는 APM DB에서 조회하도록 라우팅합니다.

LLM은 이 데이터를 바탕으로 정제된 답변을 생성하며, 제어 명령은 화이트리스트와 URL 검증 로직으로 안전하게 수행됩니다.

“활성 세션 수”와 “실제 동시 사용자 수”를 구분해야 합니다.

OPENMARU Cluster는 현재 로그인한 세션을 관리하고, APM은 실제 요청 중인 사용자를 측정합니다. 두 지표를 비교하면 시스템의 병목을 정확히 파악할 수 있습니다.

LLM은 이런 데이터를 이용해 “피크 시간대의 트래픽 원인은 무엇인가?”와 같은 질문에 정확하게 답할 수 있습니다.

이 백서가 제시하는 핵심은, 운영 데이터의 맥락을 복원하고 AI가 그 맥락을 이해하게 만드는 것입니다.

OPENMARU Cluster와 OPENMARU APM의 결합은 엔터프라이즈 환경에서 요구되는 일관성과 확장성을 갖춘 현실적인 구조이며, 여기에 LLM을 더하면 운영은 더 이상 수동적인 모니터링이 아니라 대화형 인텔리전스로 발전합니다.

지금 바로 백서를 다운로드해, 귀 조직의 운영 체계를 AI-Native 운영 모델로 전환할 수 있는 실제 사례와 설계 원칙을 직접 확인해 보시기 바랍니다.

이 글은 단순히 백서를 소개하는 요약이 아니라, AI와 관측성(Observability)을 결합한 새로운 운영 패러다임의 시작점을 제시합니다.

OPENMARU의 기술이 제안하는 미래형 운영 인텔리전스의 구조를 직접 확인해 보시기 바랍니다.

• LLM과 APM, 세션 클러스터를 통합한 차세대 운영 인텔리전스 백서
• OPENMARU APM 소개 자료
• OpenTelemetry – 공식 사양
• In-Memory Data Grid Explained (GridGain)
• AWS Marketplace – OPENMARU Cloud APM