
TL;DR AI 에이전트 만들기는 업무 하나를 고르고 노코드로 시제품을 만든 뒤, 평가·권한·관측성을 갖춰 운영으로 넘기는 과정입니다.
2026년 국내 기업과 공공기관의 업무 담당자와 IT 책임자를 위해, 첫 AI 에이전트를 노코드 도구로 만들고 내부망 운영 환경까지 도입하는 방법을 단계로 정리했습니다.
“우리도 에이전트 하나 만들어 보자”는 말은 쉽게 나오지만, 막상 시작하면 질문이 쏟아집니다. 어떤 업무를 맡길지, 코드를 짜야 하는지, 사내 문서는 어떻게 읽히는지, 잘못 행동하면 누가 막는지, 시제품이 잘 돌았는데 왜 운영에는 못 올리는지 같은 질문입니다. AI 에이전트 만들기는 도구 사용법보다 판단의 순서가 성패를 가릅니다. 이 글은 업무 고르기부터 설계, 만드는 방식 선택, 시제품, 평가, 보안, 배포와 운영까지 전 과정을 한 번에 훑습니다. Flowise 노드 하나하나의 실습은 Flowise 기초 — 핵심 14개 노드로 AI Agent 구축하기와 Flowise 데모 13개에서, 빌더 제품 간 기능 비교는 AI Agent 빌더 4종 비교에서 자세히 다루므로 여기서는 각 단계에서 무엇을 결정해야 하는지에 집중합니다. 인공지능의 기본 개념부터 정리하고 싶다면 AI란 무엇인가를 먼저 읽어도 좋습니다.
이 글이 답하는 여덟 가지 질문 목록
“AI 에이전트 만들기”, “AI agent 만들기”, “AI 에이전트 개발”을 검색하는 분들이 실제로 묻는 내용을 순서대로 정리했습니다.
- AI 에이전트는 어떤 구성 요소로 이루어지고, 챗봇이나 자동화와 무엇이 다른가요?
- 첫 에이전트로는 어떤 업무를 골라야 하나요?
- 코딩 없이 노코드로도 만들 수 있나요? 만드는 방식은 어떻게 고르나요?
- 지시문, 도구 연결, 사내 지식 연결은 어떻게 설계하나요?
- 모델은 무엇을 쓰고, 사내 모델은 언제 필요한가요?
- 시제품이 잘 동작하는지 어떻게 평가하나요?
- 가드레일과 사람 승인은 어디에 넣어야 하나요?
- 시제품을 운영으로 옮기고, 여러 부서로 넓히려면 무엇이 필요한가요?
각 질문의 짧은 답은 글 끝 “자주 묻는 질문”에 모아 두었습니다. 처음부터 순서대로 읽으면 AI 에이전트 만들기의 전체 지도가 그려지고, 필요한 절만 골라 읽어도 그 단계의 판단 기준을 바로 확인할 수 있습니다.
AI 에이전트는 어떤 구성 요소로 이루어지나?
AI 에이전트는 목표를 받아 스스로 다음 행동을 정하고, 도구를 써서 실제로 일을 처리하는 프로그램입니다. 질문에 답만 하는 챗봇과 달리, 에이전트는 사내 시스템을 조회하고 문서를 만들고 결과를 확인한 뒤 다음 단계로 넘어갑니다. 개념과 구조 자체는 AI Agent란 무엇인가에서 자세히 다루므로, 여기서는 AI 에이전트 만들기에 필요한 부품 관점으로만 정리합니다.
OpenAI가 공개한 에이전트 구축 안내서는 에이전트의 기본 요소를 모델, 도구, 지시문 세 가지로 설명합니다. 모델은 판단을 내리는 두뇌이고, 도구는 외부 시스템에 손을 뻗는 팔이며, 지시문은 어떻게 행동할지 정한 업무 규칙입니다. 기업 업무에 쓰려면 여기에 두 가지가 더 붙습니다. 대화와 작업 상태를 기억하는 메모리, 그리고 사내 규정과 매뉴얼을 근거로 꺼내 쓰는 지식 연결입니다.
아래 그림은 AI 에이전트가 무엇을 하는 시스템인지 세 가지 관점으로 정리한 것입니다. 질문에 답하는 데서 멈추지 않고 목표까지 일을 이어 간다는 점이 AI 에이전트 만들기에서 설계해야 할 범위를 정합니다.
그림. AI 에이전트는 답변 생성에서 업무 수행까지 맡는 시스템입니다
| 구성 요소 | 하는 일 | 만들 때 정할 것 | 흔한 실수 |
|---|---|---|---|
| 모델(LLM) | 요청을 이해하고 다음 행동을 고릅니다 | 어떤 모델을, 어떤 단계에 쓸지 | 모든 단계에 가장 비싼 모델 하나만 씀 |
| 지시문 | 역할·절차·금지 사항을 정합니다 | 업무 매뉴얼을 단계별 규칙으로 바꾸기 | “친절하게 답하라” 수준의 막연한 문장 |
| 도구 | 조회·작성·발송 같은 실제 행동을 합니다 | 읽기 도구와 쓰기 도구 구분, 권한 | 처음부터 쓰기 권한을 넓게 열어 줌 |
| 메모리 | 대화 맥락과 작업 진행 상태를 유지합니다 | 무엇을 얼마나 오래 기억할지 | 개인정보까지 기한 없이 저장 |
| 지식 연결(RAG) | 사내 문서를 찾아 근거로 붙입니다 | 문서 범위·갱신 주기·출처 표시 | 오래된 문서가 섞여 틀린 근거를 댐 |
이 다섯 요소를 어떻게 조합하느냐에 따라 에이전트의 성격이 달라집니다. 반응형, 목표 기반형, 멀티 에이전트처럼 유형별 차이가 궁금하다면 AI 에이전트 종류에서 분류 체계를 먼저 확인할 수 있습니다. AI 에이전트 만들기의 첫 단추는 이 다섯 칸을 업무 언어로 채워 보는 일입니다. 칸을 채우지 못하는 요소가 있다면 아직 설계가 덜 된 것입니다.
에이전트를 처음 기획하는 자리에서는 이 표를 회의 안건으로 그대로 쓰는 편이 좋습니다. 업무 담당자는 지시문과 지식 연결 칸을, 정보시스템 담당자는 도구와 메모리 칸을, 보안 담당자는 권한과 저장 기한을 채우면 한 시간 안에 첫 설계 초안이 나옵니다. 반대로 이 칸을 비워 둔 채 도구 화면부터 열면 노드 연결은 끝났는데 무엇을 시킬지 정해지지 않은 에이전트가 만들어집니다.
챗봇·자동화 대신 에이전트를 만들어야 하는 업무는 무엇인가?
모든 업무에 에이전트가 필요한 것은 아니며, AI 에이전트 만들기의 첫 판단도 여기서 시작합니다. 정해진 순서대로 같은 화면을 누르는 일은 RPA나 기존 워크플로 엔진이 더 싸고 정확합니다. 질문에 답하기만 하면 되는 일은 RAG 챗봇으로 충분합니다. AI 에이전트 만들기에 들어가기 전에 “이 일에 판단이 필요한가”를 먼저 물어야 합니다.
OpenAI 안내서는 에이전트가 특히 가치를 내는 업무를 세 가지로 꼽습니다. 예외와 맥락 판단이 많은 복잡한 의사결정, 규칙이 너무 많아져 고치기 어려워진 유지보수가 힘든 규칙 체계, 문서 해석이나 대화처럼 비정형 데이터에 크게 기대는 업무입니다. 이 세 조건에 해당하지 않으면 결정론적 자동화로도 충분하다고 덧붙입니다. Anthropic의 “Building effective agents” 역시 가능한 한 가장 단순한 해법을 찾고, 필요할 때만 복잡도를 올리라고 권합니다.
| 업무 성격 | 맞는 방식 | 예시 |
|---|---|---|
| 순서가 고정되고 예외가 거의 없음 | RPA·워크플로 자동화 | 정기 보고서 파일 수집, 시스템 간 데이터 복사 |
| 질문에 근거를 찾아 답하면 끝 | RAG 챗봇 | 사내 규정 질의응답, 제품 매뉴얼 안내 |
| 단계는 정해졌지만 각 단계에 판단이 들어감 | 워크플로형 에이전트 | 민원 분류 후 담당 부서 초안 작성 |
| 단계 수를 미리 알 수 없고 도구를 골라 써야 함 | 자율형 에이전트 | 장애 원인 조사, 다수 시스템을 오가는 조사 업무 |
챗봇과 에이전트의 차이를 더 자세히 비교하고 싶다면 AI Agent와 챗봇의 차이 — 5가지 기준 비교가 도움이 됩니다. 실무에서는 위 표의 셋째 줄, 즉 단계는 정해져 있지만 단계마다 사람이 읽고 판단하던 업무가 첫 AI 에이전트 만들기에 가장 잘 맞습니다. 흐름이 예측 가능해 시험하기 쉽고, 판단이 들어가므로 효과도 눈에 띄기 때문입니다.
에이전트가 지금처럼 일을 맡을 수 있게 된 과정을 보면 무엇이 갖춰져야 하는지 더 분명해집니다. 아래 그림처럼 언어 모델에 외부 지식 연결, 외부 시스템 호출, 계획 수립 능력이 차례로 더해지면서 에이전트가 되었습니다. 모델 성능만으로는 에이전트가 동작하지 않고, 도구 연결까지 갖춰야 일을 맡길 수 있다는 점이 AI 에이전트 만들기의 출발점입니다.
그림. 계획 생성과 외부 연계가 합쳐져 AI 에이전트가 됩니다
판단이 필요한지 가늠하는 간단한 질문도 있습니다. 담당자가 이 일을 처리할 때 “경우에 따라 다르다”는 말을 자주 하는지, 업무 매뉴얼에 예외 조항이 계속 늘어나는지, 입력이 매번 다른 형식의 문서나 자유 문장으로 들어오는지를 물어보면 됩니다. 셋 중 둘 이상에 “그렇다”고 답한다면 에이전트로 만들 가치가 있습니다. 반대로 모두 “아니다”라면 에이전트가 아니라 자동화 스크립트 한 장이 정답일 수 있습니다.
첫 에이전트로 맡길 업무를 고르는 기준
업무 선정이 틀리면 뒤의 모든 단계가 헛돕니다. 효과가 큰 업무를 고르고 싶은 마음에 처음부터 결재·지급·대외 발송처럼 실수 비용이 큰 업무를 고르면, 시제품은 금방 만들어도 승인 절차에서 몇 달씩 멈춥니다. 첫 AI 에이전트 만들기는 “효과는 분명하고 실수 비용은 낮은” 업무에서 시작합니다.
| 기준 | 좋은 신호 | 나쁜 신호 |
|---|---|---|
| 반복 빈도 | 주 수십 건 이상 반복 | 분기에 한두 번 발생 |
| 입력 형태 | 문서·메일·양식처럼 모아 둘 수 있음 | 담당자 머릿속에만 있음 |
| 정답 판단 | 담당자가 결과를 보고 맞고 틀림을 바로 앎 | 결과 평가에 몇 주가 걸림 |
| 실수 비용 | 초안 작성·분류·요약처럼 사람이 고쳐 쓰면 됨 | 금전 지급·대외 발송·법적 효력 |
| 데이터 접근 | 읽기 권한만으로 처리 가능 | 여러 시스템의 쓰기 권한 필요 |
| 업무 담당자 | 개선 의지가 있고 시간을 낼 수 있음 | 담당자가 바뀌거나 관심이 없음 |
국내 기업에서 첫 과제로 자주 고르는 업무는 민원·문의 분류와 답변 초안, 계약서·공문 요약, 회의록 정리와 할 일 추출, 사내 규정 질의응답, 보고서 초안 작성입니다. 모두 결과물이 초안이라 사람이 검토하고 고쳐 쓸 수 있고, 하루에 여러 건 반복되어 효과를 재기 쉽습니다. 업무 후보를 넓게 모으는 방법은 AI 활용 사례 글을, 전사 관점의 과제 우선순위는 AI 도입 로드맵 글을 참고할 수 있습니다.
설계·운영·보안 관점에서 업무를 에이전트에 맡겨도 되는지 가늠하는 판단 항목은 AI Agent 업무 적용 판단 기준 — 설계·운영·보안 12가지 발표자료에 따로 정리되어 있습니다. 업무 후보 목록을 만든 뒤 이 기준으로 한 번 걸러 보면 첫 AI 에이전트 만들기 대상을 더 빨리 좁힐 수 있습니다.
업무를 골랐다면 한 장짜리 정의서를 씁니다. 입력은 무엇이고, 에이전트가 어떤 순서로 무엇을 확인하며, 최종 산출물은 어떤 모양이고, 사람은 어디서 확인하는지를 적습니다. 이 정의서가 곧 뒤에서 쓸 지시문의 뼈대이자 평가 기준이 됩니다. 정의서를 쓰지 못하면 아직 AI 에이전트 만들기를 시작할 때가 아니라는 신호입니다.
정의서에는 성공 기준도 숫자로 적어 둡니다. 예를 들어 “문의 분류 정확도 90% 이상”, “초안 수정 시간 건당 5분 이하”, “사람 승인 없이 외부로 나가는 결과 0건”처럼 적으면 시제품이 끝났을 때 계속할지 멈출지를 감이 아니라 숫자로 결정할 수 있습니다. 이 숫자는 정답이 있는 것이 아니라 업무 담당자와 합의하는 값이므로, 시작 전에 합의해 두는 것 자체가 중요합니다.
AI 에이전트 만드는 방식 세 가지 비교
AI 에이전트 만들기에는 크게 세 갈래가 있습니다. 화면에서 노드를 끌어 연결하는 노코드·로우코드 빌더, 파이썬이나 타입스크립트로 흐름을 직접 짜는 코드 프레임워크, 그리고 만들기·실행·관리·권한을 한곳에 묶은 엔터프라이즈 에이전트 플랫폼입니다. 셋은 경쟁 관계라기보다 단계와 조직에 따라 함께 쓰는 관계입니다.
| 구분 | 노코드·로우코드 빌더 | 코드 프레임워크 | 엔터프라이즈 플랫폼 |
|---|---|---|---|
| 대표 예 | Flowise, Dify, n8n, LangFlow | LangGraph, OpenAI Agents SDK, Mastra | AAS 같은 에이전트 콘솔, 사내 AI 플랫폼 |
| 주 사용자 | 기획자·업무 담당자·엔지니어 | 개발자 | 업무 담당자·운영 관리자·보안 담당자 |
| 첫 결과까지 | 몇 시간~며칠 | 며칠~몇 주 | 플랫폼이 있다면 며칠 |
| 강점 | 흐름이 그림으로 보여 합의가 빠름 | 세밀한 제어와 테스트 자동화 | 권한·승인·감사 기록·운영 관리 |
| 약점 | 복잡한 예외 처리는 한계 | 업무 담당자가 읽기 어려움 | 초기 구축과 표준화 비용 |
| 맞는 때 | 첫 시제품, 업무 검증 | 핵심 업무, 대량 처리 | 여러 부서로 확산할 때 |
빌더끼리의 차이, 예를 들어 n8n의 라이선스 조건이나 Dify의 통합형 구조, Flowise와 LangFlow의 언어 생태계 차이는 AI Agent 빌더 4종 비교 — n8n·Flowise·Dify·LangFlow에 정리되어 있습니다. 타입스크립트 기반 프레임워크가 궁금하다면 Mastra AI란도 참고할 수 있습니다.
실무에서 권하는 순서는 노코드 빌더로 업무를 검증하고, 운영 요건이 커지면 플랫폼 위로 옮기며, 정말 세밀한 제어가 필요한 부분만 코드로 짜는 방식입니다. 처음부터 코드 프레임워크로 시작하면 업무 담당자가 흐름을 읽지 못해 피드백이 늦어지고, 노코드 빌더만 고집하면 권한과 감사 기록 요건에서 막힙니다. AI 에이전트 개발을 어느 한 방식에 묶지 말고 단계마다 맞는 도구를 고르는 것이 비용을 줄이는 길입니다.
로우코드·노코드 플랫폼은 거버넌스 측면에서도 이점이 있습니다. 여러 팀이 같은 플랫폼에서 에이전트를 만들면 접근 권한, 판 관리, 변경 이력을 한곳에서 관리할 수 있고, 정해진 노드와 설정만 쓰게 되므로 팀마다 제각각인 코드보다 검토와 표준 준수가 쉽습니다. 흐름을 화면으로 보며 잘못된 연결을 찾기도 쉬워, 만든 에이전트가 개인의 작업물이 아니라 조직의 자산으로 쌓입니다.
선택을 돕는 질문 세 가지를 덧붙입니다. 첫째, 이 에이전트를 고칠 사람이 개발자인가 업무 담당자인가. 둘째, 운영 환경이 인터넷이 막힌 내부망인가. 셋째, 같은 형태의 에이전트를 다른 부서도 만들게 될 것인가. 고칠 사람이 업무 담당자라면 노코드나 플랫폼 쪽으로, 내부망이라면 설치형 도구로, 여러 부서로 번질 예정이라면 처음부터 플랫폼 표준을 염두에 두는 편이 맞습니다. 이 세 질문에 대한 답이 곧 AI 에이전트 만들기 방식의 선택 기준입니다.
노코드로 첫 AI 에이전트를 만드는 단계
노코드 빌더로 AI 에이전트 만들기를 시작하면 코드 없이도 반나절 안에 첫 결과를 볼 수 있습니다. 여기서는 오픈소스 Flowise를 예로 들어 단계를 설명합니다. 다른 빌더도 이름만 다를 뿐 흐름은 거의 같습니다.
| 단계 | 할 일 | 확인할 것 |
|---|---|---|
| 1. 설치 | 사내 서버나 개인 PC에 컨테이너로 설치 | 내부망 설치 가능 여부, 접속 계정 |
| 2. 자격증명 등록 | 모델 API 키나 사내 모델 주소를 자격증명 메뉴에 한 번 등록 | 노드마다 키를 직접 넣지 않고 이름으로 참조 |
| 3. 첫 흐름 | 시작 노드와 모델 노드만으로 질문·답변 흐름 생성 | 응답이 오는지, 한국어 품질이 어떤지 |
| 4. 에이전트 노드 | 지시문과 도구를 붙여 스스로 도구를 고르게 구성 | 도구 호출 순서가 기대와 맞는지 |
| 5. 흐름 제어 | 조건 분기·반복·사람 입력 노드 추가 | 예외 상황에서 어디로 흘러가는지 |
| 6. 공유 상태 | 노드 사이에 값을 넘기는 상태 저장소 활용 | 중간 결과가 다음 단계에 제대로 넘어가는지 |
| 7. 외부 공개 | API나 채팅 위젯으로 내보내 실제 사용자에게 시험 | 접근 권한, 사용 기록 |
이 과정에서 자주 쓰는 핵심 노드는 시작, 모델, 에이전트, 사람 입력, 직접 응답, 도구, HTTP 요청, MCP, 조건, 반복 같은 것들입니다. 각 노드의 역할과 설정 화면은 Flowise 기초 — 핵심 14개 노드로 AI Agent 구축하기에서 단계별로 확인할 수 있습니다. 이 자료는 빠른 과정 약 4시간, 심화 과정 1주로 나눠 학습 경로를 제시합니다. 혼자 공부할 계획이라면 Flowise AgentFlow 1주 학습 가이드를 함께 보면 좋습니다.
노코드 AI 에이전트를 처음 만들 때는 빈 화면에서 시작하기보다 예제를 고쳐 쓰는 편이 빠릅니다. 예제 중심의 AI 에이전트 만들기는 실패 지점이 이미 알려져 있어 시행착오도 줄어듭니다. Flowise 데모 13개는 난이도를 네 단계로 나눠 번역기·리뷰 분석기·문서 질의응답 봇(1단계), 자연어 API 호출·사내 메신저 연동·자연어 SQL 변환(2단계), 자가 교정 검색·반복 토론·승인 게이트가 있는 메일 답장 봇(3단계), 문의 분류 라우팅·감독자형 멀티 에이전트·계획 수립형 여행 봇(4단계)을 다룹니다. 내 업무와 가장 비슷한 데모 하나를 골라 지시문과 도구만 바꾸면 첫 시제품이 됩니다.
노코드 방식의 AI 에이전트 만들기에서 꼭 지켜야 할 습관도 있습니다. 흐름을 바꿀 때마다 내보내기 파일로 저장해 판을 남기고, 시험용 자격증명과 운영용 자격증명을 나누고, 개인 PC에서 만든 흐름을 그대로 운영 서버에 올리지 않는 것입니다. 이 세 가지만 지켜도 “누가 언제 무엇을 바꿨는지 모르는 에이전트” 문제를 상당 부분 막을 수 있습니다.
지시문은 어떻게 써야 에이전트가 덜 헤맬까?
지시문은 에이전트에게 주는 업무 매뉴얼이며, AI 에이전트 만들기 과정에서 업무 담당자가 가장 많이 손대는 부분입니다. 사람 신입 사원에게 “알아서 잘 처리해 주세요”라고만 하면 일이 흔들리듯, 에이전트도 지시문이 막연하면 매번 다른 판단을 합니다. AI 에이전트 만들기에서 가장 적은 비용으로 품질을 올리는 곳이 지시문입니다.
OpenAI 안내서는 지시문 작성 원칙으로 네 가지를 제시합니다. 기존 운영 절차서·응대 스크립트·정책 문서를 출발점으로 삼을 것, 큰 업무를 작고 명확한 단계로 나눌 것, 각 단계가 구체적인 행동이나 산출물과 짝을 이루게 할 것, 정보가 빠졌거나 예상 밖 질문이 들어오는 경우처럼 예외 상황을 미리 적어 둘 것입니다. 국내 조직에는 이미 업무 매뉴얼과 결재 규정이 잘 갖춰진 곳이 많으므로, 이 문서들을 에이전트용 단계 규칙으로 옮겨 적는 것부터 시작하면 됩니다.
| 지시문 항목 | 나쁜 예 | 좋은 예 |
|---|---|---|
| 역할 | 너는 도우미야 | 너는 고객지원팀의 1차 문의 분류 담당이다 |
| 절차 | 문의를 잘 처리해 | 1) 문의 유형을 6개 중 하나로 고른다 2) 고객 번호가 없으면 먼저 묻는다 3) 답변 초안을 쓴다 |
| 도구 사용 | 필요하면 조회해 | 주문 상태는 반드시 주문 조회 도구로 확인하고, 추측으로 답하지 않는다 |
| 금지 사항 | 이상한 말 하지 마 | 환불 확정, 보상 약속, 개인정보 원문 노출은 하지 않는다 |
| 예외 | (없음) | 법적 분쟁·언론 문의는 분류만 하고 담당자에게 넘긴다 |
| 출력 형식 | 정리해서 줘 | 유형, 근거 문서, 답변 초안, 확신도 네 항목으로 출력한다 |
지시문을 쓸 때 놓치기 쉬운 부분은 “모를 때 어떻게 하라”는 규칙입니다. 근거를 찾지 못하면 답을 만들어 내지 말고 “확인 필요”로 표시하라는 문장 하나가 환각을 크게 줄입니다. 환각이 생기는 원리와 줄이는 방법은 AI 할루시네이션 글에서 더 자세히 다룹니다. 또 지시문도 코드처럼 판을 관리해야 합니다. 어느 판의 지시문으로 어떤 결과가 나왔는지 기록하지 않으면, 품질이 떨어졌을 때 원인을 찾을 수 없습니다.
지시문의 길이도 판단 대상입니다. 규칙을 계속 덧붙이다 보면 지시문이 수천 자로 불어나고, 모델은 앞부분과 뒷부분의 규칙을 서로 다르게 해석하기 시작합니다. 규칙이 스무 개를 넘어가면 업무를 둘로 쪼개 에이전트를 나누거나, 규칙 일부를 도구 쪽 검증 로직으로 옮기는 편이 낫습니다. 지시문은 짧고 분명할수록 평가와 수정이 쉬워집니다.
도구 연결과 MCP를 설계하는 방법
도구가 없으면 에이전트는 말만 하는 챗봇입니다. 반대로 도구를 함부로 열어 주면 에이전트는 통제되지 않은 자동화가 됩니다. 도구 설계는 AI 에이전트 만들기에서 효과와 위험이 동시에 결정되는 자리입니다.
OpenAI 안내서는 도구를 세 종류로 나눕니다. 데이터베이스·CRM·문서를 읽어 맥락을 가져오는 데이터 도구, 메일 발송·레코드 갱신·티켓 이관처럼 실제로 무언가를 바꾸는 행동 도구, 그리고 다른 에이전트를 도구처럼 부르는 조율 도구입니다. 첫 AI 에이전트 만들기에서는 데이터 도구 위주로 구성하고, 행동 도구는 사람 승인 뒤에만 실행되도록 묶는 것이 안전합니다.
| 도구 종류 | 예 | 권한 원칙 | 승인 |
|---|---|---|---|
| 데이터 도구 | 규정 검색, 주문 조회, 일정 조회 | 읽기 전용 계정, 필요한 범위만 | 대개 불필요 |
| 행동 도구(내부) | 초안 저장, 티켓 상태 변경 | 쓰기 범위를 한 테이블·한 폴더로 제한 | 처음에는 필요 |
| 행동 도구(외부·금전) | 메일 발송, 지급 요청, 대외 게시 | 별도 계정, 건별 한도 | 항상 필요 |
| 조율 도구 | 다른 에이전트 호출 | 호출 깊이·횟수 제한 | 설계 단계에서 결정 |
도구를 연결하는 표준으로는 MCP(Model Context Protocol)가 자리 잡고 있습니다. MCP는 2024년 11월 Anthropic이 공개한 개방형 규격으로, 사내 시스템을 MCP 서버로 한 번 감싸 두면 여러 에이전트와 빌더가 같은 방식으로 그 시스템을 쓸 수 있습니다. 에이전트마다 연동 코드를 따로 만들지 않아도 되므로 AI 에이전트 만들기를 여러 번 반복할수록 MCP의 효과가 커집니다. 개념은 MCP란 무엇인가에서, 레거시 시스템을 버리지 않고 연결하는 방법은 MCP로 레거시를 연결하는 해법에서 확인할 수 있습니다.
도구 이름과 설명을 쓰는 일에도 공을 들여야 합니다. Anthropic은 에이전트가 쓰는 도구 인터페이스를 사람이 쓰는 화면만큼 정성 들여 설계하라고 권합니다. 도구 설명이 모호하면 모델이 엉뚱한 도구를 고르거나 잘못된 값을 넣습니다. “주문 조회: 주문 번호 10자리를 넣으면 상태와 배송 정보를 돌려준다”처럼 입력과 출력을 분명히 적는 것만으로도 도구 오사용이 눈에 띄게 줄어듭니다.
도구 수가 늘어날 때의 판단도 미리 정해 둡니다. 한 에이전트에 도구가 열 개, 스무 개씩 붙으면 모델이 비슷한 도구를 헷갈리고 호출 비용도 늘어납니다. 도구가 많아지면 업무를 나눠 에이전트를 둘 이상으로 쪼개고, 각 에이전트가 다룰 도구를 좁히는 편이 낫습니다. 이 판단은 뒤의 멀티 에이전트 절에서 다시 다룹니다.
사내 지식을 RAG로 붙이는 과정
에이전트가 우리 회사 규정과 상품, 업무 기준을 알게 하려면 사내 문서를 연결해야 합니다. 모델을 다시 학습시키는 방법도 있지만, 대부분의 업무에는 문서를 검색해 근거로 붙이는 RAG(검색 증강 생성)가 더 빠르고 싸며 갱신도 쉽습니다.
AI 에이전트 만들기에서 RAG를 붙이는 과정은 다섯 단계로 정리할 수 있습니다. 첫째, 대상 문서를 고릅니다. 모든 문서를 넣기보다 이 업무에 필요한 규정·매뉴얼·FAQ로 범위를 좁힙니다. 둘째, 문서를 정리합니다. 한글·워드·PDF 문서를 구조가 살아 있는 텍스트로 바꾸는 단계로, 표와 목차가 깨지면 검색 품질이 크게 떨어집니다. 셋째, 문서를 적당한 크기로 나누고 벡터 저장소에 넣습니다. 넷째, 검색 결과를 지시문과 함께 모델에 넘기고 답변에 출처를 표시하게 합니다. 다섯째, 문서가 바뀔 때 다시 넣는 갱신 주기를 정합니다.
| 단계 | 핵심 판단 | 자주 생기는 문제 |
|---|---|---|
| 문서 선정 | 업무에 필요한 문서만, 최신판만 | 폐기된 규정이 섞여 틀린 근거 제시 |
| 문서 변환 | 표·목차 구조 보존 | 한글 문서 표가 깨져 숫자가 엉킴 |
| 분할·색인 | 조항·절 단위로 나누기 | 너무 잘게 나눠 맥락이 끊김 |
| 검색·생성 | 출처 표시, 근거 없으면 답하지 않기 | 근거 없는 그럴듯한 답변 |
| 갱신 | 개정 시 재색인 일정 | 몇 달 전 문서로 계속 답함 |
RAG 파이프라인의 세부 구조와 점검 항목은 RAG란 무엇인가 — 파이프라인 해부와 도입 체크리스트에, 한글·워드 문서를 에이전트가 읽기 좋은 형태로 바꾸는 방법은 한글·워드 문서를 마크다운으로에 정리되어 있습니다. AI 에이전트 만들기에서 RAG 품질의 절반은 모델이 아니라 문서 정리에서 결정됩니다. 문서가 지저분하면 어떤 모델을 써도 답이 흔들립니다.
국내 조직에서 특히 신경 써야 할 부분은 한글 문서와 스캔 문서입니다. 공문과 내부 규정이 한글 파일이나 스캔 PDF로만 남아 있는 경우가 많아, 변환 단계에서 표와 숫자가 깨지는 일이 잦습니다. 첫 시제품을 만들기 전에 대상 문서 열 건 정도를 변환해 사람이 직접 읽어 보고, 표와 숫자가 원문과 같은지 확인하는 작업을 반드시 거쳐야 합니다.
모델은 무엇으로, 사내 모델은 언제 쓰나?
AI 에이전트 만들기에서 모델 선택은 생각보다 뒤에 해도 됩니다. OpenAI 안내서는 먼저 가장 성능이 좋은 모델로 시제품을 만들어 기준 성능을 잡고, 그다음 단계별로 더 작은 모델로 바꿔 보며 품질이 유지되는지 확인하라고 권합니다. 처음부터 작은 모델로 시작하면 품질 문제가 모델 탓인지 설계 탓인지 구분하기 어렵기 때문입니다. 같은 안내서는 모델 선택 원칙으로 평가로 기준선을 세우고, 정확도 목표를 먼저 맞추고, 그 뒤에 비용과 지연을 줄이라는 순서를 제시합니다.
| 단계 | 권장 모델 | 이유 |
|---|---|---|
| 시제품 | 가장 성능이 좋은 범용 모델 | 설계 문제와 모델 한계를 구분하기 위해 |
| 분류·추출처럼 단순한 단계 | 작고 빠른 모델 | 비용과 응답 시간 절감 |
| 판단·요약처럼 어려운 단계 | 큰 모델 유지 | 품질 저하가 업무 위험으로 직결 |
| 민감 데이터 처리 단계 | 내부망에 설치한 사내 모델 | 데이터가 밖으로 나가지 않도록 |
공공기관과 금융사, 제조사의 설계 데이터처럼 외부 클라우드로 보낼 수 없는 데이터를 다룬다면 사내 모델이 필요합니다. 최근에는 오픈 웨이트 모델의 성능이 크게 올라와, 내부망에 설치한 모델로도 상당수 업무 에이전트를 운영할 수 있습니다. 사내 모델과 오픈소스 에이전트를 함께 쓰는 구성은 사내 AI 구축, Hermes 에이전트와 Gemma 4 도입 가이드에서 확인할 수 있습니다.
여러 모델을 섞어 쓴다면 모든 호출이 한 관문을 지나도록 LLM 게이트웨이를 두는 것이 좋습니다. 게이트웨이에서 모델 라우팅, 장애 시 대체 모델 전환, 부서별 비용 집계, 키 관리를 한곳에서 처리할 수 있습니다. 구축 방법은 AI Agent를 위한 LLM 게이트웨이 — LiteLLM 도입 가이드에 정리되어 있습니다. 모델·에이전트·도구를 한 흐름으로 묶는 상위 개념은 AI 오케스트레이션 글에서 다룹니다.
AI 에이전트 만들기에서 모델을 고를 때 한국어 품질은 따로 확인해야 합니다. 영어 평가 점수가 높은 모델도 한국어 공문체, 존댓말, 업계 용어에서 어색한 결과를 내는 경우가 있습니다. 시제품 단계에서 실제 업무 문서 스무 건 정도로 한국어 결과를 비교하는 작은 시험을 해 두면, 나중에 모델을 바꿀 때도 같은 시험을 다시 돌려 비교할 수 있습니다.
단일 에이전트·워크플로·멀티 에이전트 중 무엇을 고를까?
AI 에이전트 만들기를 시작하면 곧 “에이전트를 여러 개 두고 서로 협업시키면 더 좋지 않을까”라는 생각이 듭니다. 결론부터 말하면 첫 AI 에이전트 만들기는 에이전트 하나로 시작하는 것이 맞습니다. Anthropic은 에이전트 시스템을 미리 정한 경로로 모델과 도구를 엮는 워크플로와, 모델이 스스로 과정과 도구 사용을 정하는 에이전트로 구분하고, 단계 수를 미리 알기 어려운 열린 문제에만 에이전트를 쓰라고 권합니다.
| 구조 | 설명 | 맞는 경우 | 주의할 점 |
|---|---|---|---|
| 워크플로 | 정해진 순서대로 모델 호출과 도구를 연결 | 업무 단계가 명확함 | 예외 경로를 빠짐없이 그려야 함 |
| 단일 에이전트 | 하나의 에이전트가 도구를 골라 가며 처리 | 도구 수가 적고 업무가 한 영역 | 도구가 많아지면 혼동 |
| 멀티 에이전트 | 감독자가 하위 에이전트에 일을 나눔 | 영역별 전문성과 권한이 뚜렷이 다름 | 비용 증가, 실패 원인 추적이 어려움 |
Anthropic은 워크플로 패턴으로 프롬프트 체이닝, 라우팅, 병렬화, 오케스트레이터와 작업자, 평가자와 최적화 다섯 가지를 소개합니다. 실무에서는 “분류 후 라우팅“과 “작성 후 검토” 두 패턴만으로도 상당수 업무 에이전트를 만들 수 있습니다. 멀티 에이전트가 정말 필요한지, 어떤 협업 패턴과 실패 모드가 있는지는 멀티 에이전트 시스템 설계에서 따로 정리했습니다.
판단 기준은 간단합니다. 하나의 에이전트로 만들었는데 지시문이 너무 길어지고, 도구가 열 개를 넘어가며, 업무 영역마다 필요한 권한이 다르다면 그때 나눕니다. 처음부터 멀티 에이전트로 설계하면 어느 에이전트가 틀렸는지 찾는 데만 시간을 쓰게 됩니다. 노코드 빌더에서는 감독자 노드와 하위 에이전트 노드로 이 구조를 쉽게 그릴 수 있으므로, 단일 에이전트로 검증을 마친 뒤 나누어도 늦지 않습니다.
평가 세트로 품질을 재는 방법
시제품을 몇 번 돌려 보고 “잘 되네요”라고 판단하는 것이 AI 에이전트 만들기에서 가장 흔한 실수입니다. 에이전트는 같은 입력에도 결과가 조금씩 달라지고, 지시문이나 모델을 바꾸면 이전에 잘 되던 질문이 틀리기 시작합니다. 평가 세트 없이 만든 에이전트는 고칠 때마다 품질이 어디로 갈지 모릅니다.
평가 세트는 실제 업무에서 뽑은 입력과 기대 결과의 묶음으로, AI 에이전트 만들기의 품질 기준선 역할을 합니다. 처음에는 50건 정도면 충분합니다. 쉬운 사례, 예외 사례, 거절해야 하는 사례를 고루 섞고, 업무 담당자가 기대 결과를 직접 적습니다. 이후 지시문·모델·도구를 바꿀 때마다 이 세트를 다시 돌려 점수를 비교합니다.
| 평가 항목 | 재는 방법 | 기준 예시 |
|---|---|---|
| 정확도 | 기대 결과와 일치 여부, 담당자 채점 | 분류 정확도 90% 이상 |
| 근거 제시 | 답변에 출처 문서가 붙었는지 | 근거 없는 답변 0건 |
| 도구 사용 | 필요한 도구를 맞게 불렀는지 | 잘못된 도구 호출 5% 이하 |
| 거절 | 금지 업무를 거절했는지 | 금지 요청 처리 0건 |
| 시간·비용 | 건당 처리 시간과 모델 비용 | 사람 처리 시간 대비 절반 이하 |
| 사람 수정량 | 초안을 사람이 얼마나 고쳤는지 | 수정 없이 쓰는 비율 60% 이상 |
채점은 사람과 모델을 함께 쓰는 방식이 현실적입니다. 정답이 분명한 분류·추출은 자동으로 비교하고, 요약·초안처럼 정답이 여러 개인 결과는 업무 담당자가 표본을 채점하거나, 채점 기준을 준 별도 모델이 1차로 점수를 매긴 뒤 사람이 확인합니다. 평가 세트는 한 번 만들고 끝나는 것이 아니라, 운영 중 발견한 실패 사례를 계속 추가해 키워 가는 자산입니다.
평가 결과를 보는 사람도 정해 둡니다. 점수가 기준 아래로 떨어지면 누가 원인을 찾고, 누가 배포를 멈출지 결정할 권한을 가지는지 명확하지 않으면, 품질 저하를 알고도 아무도 손대지 않는 상황이 생깁니다. 첫 AI 에이전트 만들기라면 업무 담당자 한 명과 IT 담당자 한 명이 매주 30분씩 평가 결과를 함께 보는 자리를 만드는 것으로 충분합니다.
가드레일·권한·사람 승인을 넣는 기준
에이전트는 실수합니다. 문제는 실수를 하느냐가 아니라 실수가 일어났을 때 피해가 어디까지 번지느냐입니다. 그래서 AI 에이전트 만들기에서는 실수를 줄이는 장치와 피해를 묶어 두는 장치를 함께 설계해야 합니다.
AI 에이전트 만들기에서 가드레일은 세 겹으로 생각하면 쉽습니다. 입력 단계에서는 주민등록번호 같은 개인정보, 업무와 무관한 요청, 지시문을 무력화하려는 입력을 걸러 냅니다. 처리 단계에서는 도구 호출 전에 권한과 한도를 확인하고, 위험도가 높은 행동은 멈춰 세웁니다. 출력 단계에서는 근거 없는 답변, 금지 표현, 개인정보 원문이 나가지 않는지 검사합니다.
가드레일이 특히 중요한 이유는 에이전트가 사람 확인 없이 여러 단계를 이어 가기 때문입니다. 챗봇은 질문 하나에 답 하나를 돌려주고 멈추므로 다음 행동을 정하는 주체가 늘 사람이지만, 에이전트는 조회·작성·발송을 연달아 수행합니다. 조회 단계에서 기간을 잘못 잡으면 작성 단계는 틀린 데이터로 그럴듯한 보고서를 만들고, 발송 단계는 그 보고서를 그대로 내보냅니다. 한 단계의 잘못된 판단이 그대로 다음 단계의 입력이 되므로, 단계 사이에 검사 지점을 두어야 합니다. 또 에이전트에 고유한 신원이 없으면 누가 한 행동인지 구분되지 않아 최소 권한을 걸 수 없으므로, 에이전트마다 전용 계정을 주는 일이 설계 단계의 첫 과제입니다.
| 위험 수준 | 예 | 처리 방식 |
|---|---|---|
| 낮음 | 사내 규정 요약, 회의록 정리 | 자동 처리 후 사후 표본 점검 |
| 중간 | 고객 답변 초안, 티켓 분류 변경 | 담당자가 확인 후 반영 |
| 높음 | 대외 메일 발송, 계약 조건 안내 | 건마다 사람 승인 후 실행 |
| 매우 높음 | 금전 지급, 권한 변경, 데이터 삭제 | 에이전트 권한에서 제외 |
사람 승인은 에이전트가 바로 실행하지 않고 “이렇게 하겠습니다”라는 승인 카드를 띄운 뒤 담당자가 누르면 실행되는 구조가 가장 실용적입니다. 노코드 빌더에서는 사람 입력 노드로, 엔터프라이즈 플랫폼에서는 승인 화면과 승인 기록으로 구현합니다. 에이전트 고유의 보안 위험은 OWASP 위험 분류 — 에이전트 검토의 8가지 필수 기능에서, 도입 전 점검해야 할 필수 기능은 AI Agent 필수 기능 여덟 가지에서 확인할 수 있습니다.
승인 창구를 사내 메신저 봇으로만 두는 방식은 주의가 필요합니다. 메신저는 사람끼리 대화하려고 만든 도구라 에이전트가 지금 몇 번째 단계에 있는지, 어떤 명령을 실행하려는지, 무엇을 되묻는지가 모두 같은 모양의 메시지로 흘러갑니다. 그러면 누가 무엇을 승인했는지 기록이 남지 않아 감사 대응이 어려워집니다. 승인 요청은 별도의 카드나 화면으로 띄우고 승인 결과를 기록으로 남겨야 합니다.
권한 설계의 원칙은 에이전트 전용 계정, 최소 권한, 기록 보존 세 가지입니다. 담당자 개인 계정으로 에이전트를 돌리면 누가 한 일인지 구분되지 않고, 담당자가 퇴사하거나 부서를 옮기면 에이전트도 멈춥니다. 자격증명은 빌더나 플랫폼의 비밀값 저장소에 두고, 만료 일정을 따로 관리해야 합니다. 이 원칙은 시제품 단계부터 적용해야 운영 전환 때 다시 만들지 않습니다.
프로토타입에서 운영으로 넘어가는 순서
시제품이 평가 기준을 넘었다고 바로 전사에 여는 것은 위험합니다. AI 에이전트 만들기의 운영 전환은 좁은 사용자에게 열고, 기록을 보며 넓히는 단계적 방식으로 진행합니다.
| 단계 | 기간 예시 | 할 일 | 넘어가는 조건 |
|---|---|---|---|
| 1. 시제품 | 2~4주 | 노코드로 흐름 구성, 평가 세트 작성 | 평가 기준 통과 |
| 2. 내부 시범 | 2~4주 | 업무 담당자 몇 명만 실제 업무에 사용 | 수정량·오류 유형 파악 |
| 3. 제한 운영 | 1~2개월 | 한 팀 전체로 확대, 승인 카드 유지 | 오류율 안정, 승인 거절률 감소 |
| 4. 정식 운영 | 이후 | 운영 서버 이전, 모니터링·알림 연결 | 운영 책임자 지정 |
| 5. 확산 | 이후 | 같은 구조를 다른 부서 업무에 적용 | 공통 도구·지시문 표준화 |
AI 에이전트 만들기의 마지막 고비인 운영 서버 이전 때는 확인할 것이 많습니다. 개발용 흐름과 운영용 흐름을 분리하고, 흐름과 지시문의 판을 남기며, 장애 시 이전 판으로 되돌리는 절차를 만들어야 합니다. 컨테이너 기반 인프라를 쓰는 조직이라면 빌더와 벡터 저장소, 게이트웨이를 쿠버네티스 위에 올려 확장과 복구를 표준화할 수 있습니다. 에이전트 인프라 구성 요소는 K8s 기반 AI Native Platform — AI Agent 인프라 13개 컴포넌트 체크리스트에서 점검할 수 있습니다.
노코드 빌더 기반 운영 전환을 단계별로 더 자세히 보고 싶다면 노코드 AI Agent 워크플로우 도입 5단계와 Flowise 엔터프라이즈 도입 4단계를 함께 참고할 수 있습니다. 운영 전환의 핵심은 기술보다 책임자 지정입니다. 에이전트가 틀렸을 때 누가 판단하고 누가 고치는지가 정해지지 않으면, 아무리 잘 만든 에이전트도 운영 회의에서 멈춥니다.
운영 단계의 관측성과 비용 관리 방법
운영에 들어간 에이전트는 매일 조금씩 다른 일을 합니다. 같은 지시문이라도 들어오는 입력이 바뀌고, 문서가 바뀌고, 모델 제공사가 모델을 갱신합니다. 그래서 운영 중인 에이전트는 “지금 무엇을 하고 있는지 보이는 상태”를 유지해야 합니다.
관측성의 기본은 실행 기록입니다. 어떤 입력이 들어와 어떤 도구를 어떤 순서로 불렀고, 각 단계에서 모델이 무엇을 돌려줬으며, 시간과 비용이 얼마 들었는지를 한 건 단위로 추적할 수 있어야 합니다. 여기에 정기 업무가 제때 돌았는지, 자격증명이 만료되지 않았는지, 실패한 실행에 알림이 갔는지를 보여 주는 운영 화면이 더해지면 담당자가 문제를 먼저 발견할 수 있습니다.
| 지표 | 보는 이유 | 대응 |
|---|---|---|
| 실행 성공률 | 도구 장애·자격증명 만료 조기 발견 | 실패 알림, 재시도 정책 |
| 사람 승인 거절률 | 에이전트 판단 품질의 직접 신호 | 거절 사례를 평가 세트에 추가 |
| 건당 처리 비용 | 모델·도구 호출 비용 추세 | 작은 모델로 라우팅, 캐시 |
| 건당 처리 시간 | 사용자 체감 품질 | 병렬화, 불필요한 단계 제거 |
| 정기 업무 실행 현황 | 예약 업무 누락 방지 | 미실행·무알림 업무 점검 |
비용은 에이전트가 커질수록 빠르게 늘어나므로, AI 에이전트 만들기 단계부터 건당 비용을 재는 장치를 넣어 두어야 합니다. 에이전트 한 번의 실행이 모델을 수십 번 부르기도 하고, 도구 실패로 같은 단계를 반복하면 비용이 몇 배로 뜁니다. 가트너는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 비용 증가, 불분명한 사업 가치, 부족한 위험 통제로 중단될 것으로 전망했습니다. 비용과 가치를 건 단위로 재지 않으면 이 40% 안에 들어갈 가능성이 큽니다. 구독형과 구축형의 비용 구조 비교는 AI 도입 비용 글에서 자세히 다룹니다.
운영 지표는 대시보드로 만들어 매주 점검해야 합니다. 특히 승인 거절률이 갑자기 올라가거나 건당 비용이 계단처럼 뛰는 날이 있다면, 그 주에 바뀐 지시문·문서·모델이 무엇인지부터 확인합니다. 판 기록과 실행 기록이 함께 있어야 원인을 하루 안에 찾을 수 있습니다.
업무 전문가가 직접 만드는 방식
AI 에이전트 만들기를 가장 잘할 수 있는 사람은 개발자가 아니라 그 업무를 매일 하는 담당자입니다. 어떤 예외가 자주 생기는지, 어떤 결과가 틀린 것인지, 어떤 문서가 최신인지는 담당자가 가장 잘 압니다. 그래서 최근 AI 에이전트 만들기는 IT 부서가 플랫폼을 준비하고, 업무 담당자가 그 위에서 에이전트를 직접 정의하는 구조로 옮겨 가고 있습니다.
가트너는 업무별 AI 에이전트를 탑재한 기업용 애플리케이션이 2025년 5% 미만에서 2026년 말 40%로 늘어날 것으로 전망했습니다. 에이전트가 이렇게 흔해지면 IT 부서가 모든 에이전트를 직접 만들 수 없습니다. 업무 담당자가 만들고, IT와 보안 담당자는 권한·승인·기록을 지켜보는 역할 분담이 필요해집니다.
MSAP.ai의 AI Agent Studio(AAS)는 이 역할 분담을 위한 콘솔입니다. 업무 담당자가 누가 일할지(에이전트), 어떻게 일할지(스킬 문서), 언제 일할지(정기 업무)를 화면에서 정의하고, 실제 실행은 오픈소스 Hermes Agent가 맡습니다. 스킬 문서는 저장할 때마다 판이 남아 비교할 수 있고, 위험한 행동은 실행 전 승인 카드로 확인합니다. 운영 관리자는 정기 업무 상태, 자격증명 만료, 호출 관계, 변경 기록을 한 화면에서 봅니다.
아래 그림은 AI 에이전트 도구 시장을 만드는 쪽과 지켜보는 쪽으로 나눠 본 것입니다. 워크플로 빌더는 개발자용이고 관제 콘솔은 IT·보안팀용이어서, 업무 담당자가 만들기와 지켜보기를 함께 쓰는 자리가 비어 있다는 점이 AAS의 출발점입니다.
그림. AI 에이전트 도구는 만드는 쪽과 지켜보는 쪽으로 나뉩니다
AAS에서 에이전트는 사람마다 받는 실행 환경이고, 그 안에 업무별 프로파일(성격과 모델), 일하는 방법을 적은 스킬, 실행 일정인 정기 업무가 들어갑니다. 스킬은 스크립트와 MCP 서버를 통해 CRM·위키·드라이브 같은 업무 시스템에 닿습니다. 이 구성은 개인 노트북이 아니라 조직이 운영하는 플랫폼에 저장되므로, 만든 사람이 부서를 옮기거나 회사를 떠나도 에이전트가 조직에 남습니다. 1980~90년대 현업 담당자가 폭스프로·디베이스로 업무 프로그램을 직접 만들어 쓰던 것과 비슷하게, 업무를 아는 사람이 직접 만들고 그 결과가 조직 자산으로 남는 구조가 AI 에이전트 만들기를 부서 업무에 정착시키는 길입니다.
| 역할 | 하는 일 | AAS에서 보는 화면 |
|---|---|---|
| 업무 담당자 | 에이전트·스킬·정기 업무 정의 | 만들기, 시키기 |
| 운영 관리자 | 실행 상태·실패·알림 확인 | 지켜보기, 정기 업무 상태 |
| 보안 담당자 | 권한·자격증명·승인 기록 검토 | 자격증명 점검, 변경 기록 |
| IT 관리자 | 플랫폼 설치·모델 연결·사용자 관리 | 프로파일·사용자 관리 |
IT·보안 담당자가 먼저 묻는 질문은 대개 세 가지입니다. 도입하면 운영 중인 에이전트 플랫폼의 설정을 바꿔야 하는지, 업무 자료가 조직 밖으로 나가는지, 플랫폼의 토큰과 키가 화면이나 로그에 드러나는지입니다. AAS는 화면에 보여 줄 정보를 모으는 읽기 경로를 읽기 전용으로만 열고, 정기 업무나 스킬을 바꾸는 변경 경로는 플랫폼이 공식으로 제공하는 API 하나로만 보냅니다. 그래서 콘솔을 붙여도 플랫폼의 플러그인을 설치하거나 설정 파일을 고칠 일이 생기지 않고, 운영 중인 에이전트를 멈추지 않아도 됩니다.
AAS 소개 자료에 따르면 운영 설치본의 최근 7일 세션 152개 중 92%가 사람의 대화가 아니라 정기 업무에서 시작됐습니다. 에이전트가 실제로 일을 하는 방식은 채팅이 아니라 정해진 시간에 스스로 도는 업무라는 뜻입니다. AI 에이전트 만들기를 기획할 때도 “어떤 질문에 답할까”보다 “매일 몇 시에 무엇을 처리해 둘까”를 먼저 묻는 편이 운영에 더 가깝습니다. 제품 상세와 파일럿 4단계는 AAS 백서에서 확인할 수 있습니다.
국내 기업은 어떤 에이전트부터 만들고 있나?
국내 조직이 첫 AI 에이전트 만들기로 많이 고르는 업무는 업종마다 조금씩 다르지만, 공통점이 있습니다. 결과가 초안이고, 반복 빈도가 높고, 근거 문서가 정리되어 있는 업무라는 점입니다. 아래는 특정 기업의 실적이 아니라 업종별로 자주 보이는 구성을 정리한 것입니다.
| 업종 | 첫 에이전트 예 | 연결하는 도구·지식 | 사람 확인 지점 |
|---|---|---|---|
| 공공 | 민원 분류와 답변 초안, 공문 요약 | 민원 이력, 법령·내규 문서 | 답변 발송 전 담당자 승인 |
| 금융 | 상품 문의 응대 초안, 내부 규정 질의응답 | 상품 설명서, 준법 규정 | 고객 안내 문구 확정 |
| 제조 | 설비 이상 보고서 초안, 작업 표준 검색 | 설비 이력, 작업 표준서 | 조치 지시 확정 |
| IT 운영 | 장애 알림 1차 분석, 변경 이력 정리 | 모니터링 도구, 변경 관리 시스템 | 조치 실행 |
| 영업·마케팅 | 명함·회의록 정리, 제안서 초안 | CRM, 제품 자료 | 고객 발송 |
공공 분야에서는 외부 클라우드를 쓸 수 없는 업무가 많아 내부망에 설치한 모델과 빌더로 에이전트를 만드는 구성이 기본입니다. 공공기관의 실제 도입 흐름은 공공기관 Ask Gov 도입 사례에서 볼 수 있습니다. 업종별 사례를 더 넓게 보고 싶다면 국내 기업 AI 도입 사례를 함께 참고할 수 있습니다.
공공기관에서 자주 검토하는 운영 분담도 참고할 만합니다. 클러스터 운영, 모델 업데이트, GPU 모니터링 같은 인프라·모델 운영은 외부 전문 인력이나 유지보수 사업자가 맡고, 업무 흐름 설계는 기관의 주무관이 시각적 노코드 도구로 직접 맡는 방식입니다. 이렇게 나누면 코딩을 하지 않는 주무관도 AI 에이전트 만들기에 직접 참여할 수 있고, 업무가 바뀔 때마다 외부 개발을 기다리지 않아도 됩니다.
이 사례들에서 배울 점은 첫 에이전트를 크게 만들지 않았다는 것입니다. 하나의 업무, 하나의 팀, 읽기 위주의 도구로 시작해 효과를 숫자로 보여 준 뒤 범위를 넓혔습니다. AI 에이전트 만들기의 확산 속도는 첫 에이전트가 얼마나 분명한 숫자를 남기느냐에 달려 있습니다.
AI 에이전트 만들기가 PoC에서 멈추는 이유
많은 조직이 AI 에이전트 만들기에서 시제품까지는 빠르게 가지만 운영 단계에서 멈춥니다. 멈추는 이유는 대개 기술보다 준비 부족입니다. 자주 보이는 원인과 처방을 정리하면 다음과 같습니다.
| 멈추는 이유 | 증상 | 처방 |
|---|---|---|
| 업무 정의 부재 | 무엇을 잘했는지 판단 기준이 없음 | 한 장짜리 업무 정의서와 성공 기준 |
| 평가 세트 부재 | 데모는 좋은데 실제 업무에서 흔들림 | 실제 업무 50건 평가 세트 |
| 데이터 준비 부족 | 문서가 낡거나 표가 깨져 답이 틀림 | 문서 정리와 갱신 주기 |
| 권한·보안 미설계 | 보안 검토에서 몇 달 대기 | 에이전트 전용 계정, 승인 카드, 기록 |
| 운영 책임자 부재 | 오류가 나도 고칠 사람이 없음 | 업무·IT 공동 책임자 지정 |
| 비용 예측 실패 | 사용량이 늘자 비용이 급증 | 건당 비용 측정, 모델 라우팅 |
특히 첫째와 둘째 이유는 시작 단계에서 막을 수 있습니다. 업무 정의서와 평가 세트를 만드는 데 드는 시간은 며칠이지만, 이것이 없으면 시제품을 고칠 때마다 같은 논쟁이 반복됩니다. AI 도입이 멈추는 더 넓은 이유는 AI 도입 실패 글에서 정리했습니다. PoC를 통과시키는 것은 모델 성능이 아니라 준비된 판단 기준이라는 점을 기억해야 합니다.
경영진에게 보고할 때도 이 표를 그대로 쓰면 좋습니다. “시제품은 잘 됐다”는 보고보다 “평가 세트 50건 중 46건 통과, 승인 거절 사유 상위 세 가지는 이것이며, 운영 전환을 위해 남은 일은 권한 설계와 책임자 지정”이라는 보고가 훨씬 빨리 다음 결정을 끌어냅니다. 보고서의 언어를 숫자와 남은 과제로 바꾸는 것도 AI 에이전트 만들기의 일부입니다.
첫 90일 동안 진행할 AI 에이전트 만들기 순서
지금까지 살펴본 AI 에이전트 만들기 과정을 첫 90일 일정으로 묶으면 다음과 같습니다. 조직 규모와 업무에 따라 기간은 달라지지만, 순서는 거의 그대로 적용할 수 있습니다.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1~2주 | 업무 후보 수집, 첫 업무 선정, 업무 정의서 작성 | 업무 정의서, 성공 기준 |
| 3~4주 | 노코드 빌더 설치, 데모 변형으로 시제품 구성 | 시제품 흐름, 지시문 1판 |
| 5~6주 | 문서 정리와 RAG 연결, 도구 연결 | 지식 범위표, 도구 목록과 권한표 |
| 7~8주 | 평가 세트 50건 작성, 지시문·모델 조정 | 평가 결과, 지시문 개정 기록 |
| 9~10주 | 가드레일·승인 카드·에이전트 전용 계정 적용 | 위험 등급표, 승인 흐름 |
| 11~12주 | 업무 담당자 대상 내부 시범, 운영 지표 수집 | 시범 결과 보고, 운영 전환 결정 |
| 13주 | 운영 책임자 지정, 확산 대상 업무 선정 | 운영 계획, 다음 에이전트 후보 |
이 일정에서 가장 중요한 것은 3~4주 차에 이미 동작하는 시제품을 업무 담당자에게 보여 주는 일입니다. 화면으로 흐름을 보고 직접 질문을 넣어 본 담당자는 문서로만 설명을 들은 담당자보다 훨씬 구체적인 피드백을 줍니다. 노코드 빌더가 이 단계에서 특히 유리한 이유입니다.
90일이 지나면 두 번째 에이전트를 만들 차례입니다. 이때는 첫 AI 에이전트 만들기에서 남긴 MCP 서버, 문서 정리 방식, 평가 세트 양식, 승인 흐름을 그대로 재사용할 수 있으므로 기간이 크게 줄어듭니다. 두 번째 AI 에이전트 만들기가 첫 번째보다 빨라지도록 공통 부품을 남기는 것이 확산의 핵심입니다. 각 조직은 첫 90일이 끝나는 시점에 공통 부품 목록을 점검해야 합니다.
핵심 정리
- AI 에이전트 만들기는 도구 사용법보다 판단 순서가 중요합니다. 업무 선정 → 설계 → 방식 선택 → 시제품 → 평가 → 보안 → 운영 순서로 진행합니다.
- 에이전트의 기본 요소는 모델·도구·지시문이며, 기업 업무에는 메모리와 지식 연결이 더해집니다.
- 첫 업무는 효과가 분명하고 실수 비용이 낮은 업무, 즉 결과가 초안인 반복 업무에서 고릅니다.
- 노코드 빌더로 업무를 검증하고, 운영 요건이 커지면 플랫폼으로 옮기며, 세밀한 제어가 필요한 부분만 코드로 짭니다.
- 지시문은 기존 업무 매뉴얼에서 출발하고, “모를 때 어떻게 하라”는 규칙을 반드시 넣습니다.
- 도구는 읽기 위주로 시작하고, 행동 도구는 사람 승인 뒤에 실행합니다. 연결 표준은 MCP가 유리합니다.
- 평가 세트 50건이 있어야 지시문·모델을 바꿀 때 품질을 지킬 수 있습니다.
- 운영 전환의 핵심은 책임자 지정과 관측성, 건당 비용 측정입니다.
- 인공지능 전반의 개념은 AI란 무엇인가에서, 에이전트 정의와 구조는 AI Agent란 무엇인가에서 이어서 볼 수 있습니다.
자주 묻는 질문
AI 에이전트 만들기는 코딩을 몰라도 가능한가요?
가능합니다. Flowise, Dify, n8n 같은 노코드 빌더를 쓰면 화면에서 노드를 연결해 첫 에이전트를 만들 수 있고, 예제를 고쳐 쓰면 반나절 안에 시제품을 볼 수 있습니다. 다만 운영 단계의 권한 설계, 사내 시스템 연동, 보안 검토에는 IT 담당자의 도움이 필요하므로 업무 담당자와 IT 담당자가 함께 시작하는 편이 좋습니다.
첫 AI 에이전트로는 어떤 업무가 좋나요?
반복 빈도가 높고 결과가 초안이라 사람이 고쳐 쓸 수 있는 업무가 좋습니다. 문의 분류와 답변 초안, 문서 요약, 회의록 정리, 사내 규정 질의응답이 대표적입니다. 금전 지급이나 대외 발송처럼 실수 비용이 큰 업무는 첫 과제로 피하는 것이 안전합니다.
노코드 빌더와 코드 프레임워크 중 무엇으로 만들어야 하나요?
업무 검증 단계에서는 노코드 빌더가 유리합니다. 흐름이 그림으로 보여 업무 담당자와 빠르게 합의할 수 있기 때문입니다. 대량 처리나 세밀한 예외 처리가 필요한 핵심 업무는 코드 프레임워크로, 여러 부서로 넓힐 때는 권한과 승인 기록을 갖춘 엔터프라이즈 플랫폼으로 옮기는 방식을 권합니다.
AI 에이전트를 만들 때 어떤 모델을 써야 하나요?
시제품은 가장 성능이 좋은 모델로 만들어 기준 성능을 잡고, 그 뒤 분류·추출처럼 단순한 단계부터 작은 모델로 바꿔 보는 방식이 좋습니다. 외부로 보낼 수 없는 데이터를 다루는 공공·금융·제조 업무는 내부망에 설치한 사내 모델을 쓰고, 여러 모델은 LLM 게이트웨이로 묶어 관리합니다.
에이전트가 잘못 행동하면 어떻게 막나요?
입력·처리·출력 세 단계에 가드레일을 두고, 위험도에 따라 사람 승인을 넣습니다. 메일 발송이나 계약 안내처럼 위험이 큰 행동은 승인 카드를 거친 뒤에만 실행되게 하고, 금전 지급이나 권한 변경은 에이전트 권한에서 아예 뺍니다. 에이전트 전용 계정과 최소 권한, 실행 기록 보존도 함께 적용합니다.
AI 에이전트 만들기에 기간은 얼마나 걸리나요?
노코드 시제품은 며칠이면 만들 수 있지만, 평가·보안·내부 시범을 거쳐 운영에 올리기까지는 보통 3개월 안팎을 잡습니다. 업무 정의 2주, 시제품과 지식 연결 4주, 평가와 가드레일 4주, 내부 시범 2주 정도가 현실적인 일정입니다. 두 번째 에이전트부터는 공통 부품을 재사용해 기간이 줄어듭니다.
공공기관이나 금융사도 AI 에이전트를 만들 수 있나요?
만들 수 있습니다. 모델, 빌더, 벡터 저장소, MCP 서버를 모두 내부망에 설치하면 데이터가 밖으로 나가지 않는 구성이 가능합니다. 민감 데이터는 사내 모델로만 처리하도록 경로를 고정하고, 대외 발송이나 고객 안내는 사람 승인을 거치게 하면 보안 검토 기준도 맞출 수 있습니다.
참고 리소스
MSAP.ai
- AI란 무엇인가 — 인공지능 뜻·원리·종류와 기업 도입
- AI Agent란 무엇인가 — 정의, 구조, 기업 도입 기준
- Flowise 기초 — 핵심 14개 노드로 AI Agent 구축하기
- AI Agent 직접 만들기 — Flowise 데모 13개로 끝내기
- AI Agent 빌더 4종 비교 — n8n·Flowise·Dify·LangFlow
- 업무 전문가가 만드는 AI Agent와 AI Agent Studio(AAS) 제품 소개
- AI 에이전트 종류
- AI 오케스트레이션이란
- 멀티 에이전트 시스템 설계 — 협업 패턴과 실패 모드
- MCP(Model Context Protocol)란 무엇인가
- RAG란 무엇인가 — 파이프라인 해부와 도입 체크리스트
오픈마루·Cloud Native Forum
외부 자료
다음 단계
우리 조직의 업무에 맞는 첫 AI 에이전트를 고르고, 데이터를 밖으로 보내지 않는 내부망 환경에서 시제품부터 운영까지 가져가는 방법을 함께 검토하려면 아래에서 시작하시기 바랍니다. 인공지능 전반의 개념은 AI란 무엇인가에서 먼저 확인할 수 있습니다.
- msap.ai 홈페이지
- MSAP.ai 도입 문의
- 무료 AI Discovery Workshop 신청
- 이메일 문의: hello@msap.ai · 전화 문의: 02-6953-5427





