우리 회사에 AX를 도입하기로 결정했다면, 가장 먼저 무엇을 해야 할까요?
기업이 AX(AI Transformation)를 도입하기로 결정해도 실제로 어떤 과정을 거쳐야 하는지 이해하기는 쉽지 않습니다.
AI 홈페이지를 만들거나 사내 지식 에이전트를 구축하려면 먼저 회사의 자료를 모두 정리해야 하는지, 기존 ERP나 CRM을 변경해야 하는지, 어떤 AI 모델을 선택해야 하는지 궁금할 수 있습니다.
하지만 AX 구축은 처음부터 AI 모델이나 개발 기술을 결정하는 방식으로 시작하지 않습니다. 기업에서 개선하려는 업무를 이해하고, 필요한 정보와 시스템을 확인한 뒤 그에 적합한 AI 환경을 설계하는 과정이 우선입니다.
AX 구축의 핵심은 AI 기능을 먼저 만드는 것이 아니라,
실제 업무에서 작동할 수 있는 구조를 단계적으로 완성하는 것입니다.
이번에는 AX 도입이 어떤 순서로 진행되는지 살펴보겠습니다.
1단계. AX를 적용할 업무부터 분석합니다
AX 구축의 첫 번째 단계는 현재 기업의 업무를 살펴보고 개선할 대상을 선정하는 것입니다.
예를 들어 고객 문의에 대한 응답이 늦어지는 기업이라면 홈페이지에서 질문을 접수한 이후 담당자가 답변하기까지 어떤 과정이 필요한지 확인합니다.
보고서 작성에 많은 시간이 필요한 기업이라면 직원이 어떤 시스템에서 데이터를 수집하고, 어떤 기준으로 분석하며, 최종 결과를 어떻게 활용하는지 살펴봐야 합니다.
이 과정에서 업무의 반복 빈도와 처리 시간뿐 아니라 AI가 활용할 수 있는 데이터가 준비되어 있는지도 확인합니다. 또한 중요한 의사결정이나 승인이 필요한 업무인지 구분해야 합니다.
그 결과 고객 문의 대응, 사내 지식 검색, 보고서 작성처럼 초기 적용에 적합한 업무를 선정할 수 있습니다.
처음부터 모든 업무를 AX로 전환하기보다는
도입 효과를 확인하기 쉽고 실행 가능한 업무부터 시작하는 것이 현실적입니다.
2단계. 기존 시스템과 데이터 환경을 확인합니다
AX를 적용할 업무가 결정되면 해당 업무에 필요한 정보가 어디에 저장되어 있는지 확인합니다.
기업은 이미 홈페이지, ERP, CRM, 그룹웨어, 공유 폴더 등 다양한 시스템에 업무 데이터를 축적하고 있습니다.
예를 들어 견적서 작성 업무를 AX로 전환하려면 제품 가격과 고객 정보, 할인 정책, 견적서 양식 등이 필요합니다. 이러한 정보가 각각 다른 시스템에 있다면 어떤 방식으로 조회하고 연결할 수 있는지 검토해야 합니다.
문서의 최신성과 접근 권한도 중요한 확인 대상입니다. 오래된 가격표와 최신 가격표가 함께 존재한다면 어떤 자료를 공식적인 기준으로 사용할지 먼저 정해야 합니다.
기존 시스템에서 API를 제공하는지,
외부 프로그램이 필요한 정보를 조회하거나 변경할 수 있는지도 확인합니다.
여기서 중요한 점은 모든 데이터를 새로운 시스템으로 옮기는 것이 아니라는 것입니다.
기존 시스템을 최대한 유지하면서 AI가 필요한 정보를 정확하게 활용할 수 있는 연결 방법을 찾는 과정입니다.
3단계. AI 운영 방식과 보안 구조를 설계합니다
업무와 데이터 환경이 확인되면 AI를 어떤 방식으로 운영할지 결정합니다.
AX 파트너에서는 기업의 보안 요구와 업무 특성에 따라 외부 LLM, 온프레미스 내부 LLM, 내부·외부 LLM을 함께 활용하는 하이브리드 구조를 검토할 수 있습니다.
공개된 제품 정보나 일반적인 업무를 처리한다면 외부 LLM을 활용하는 방식이 적합할 수 있습니다.
반면 비공개 계약서나 중요한 기술자료처럼 외부로 전달하기 어려운 정보는 기업이 통제하는 온프레미스 환경에서 내부 LLM으로 분석하도록 설계할 수 있습니다.
두 종류의 정보가 함께 존재하는 기업이라면 데이터의 보안등급에 따라 내부·외부 LLM의 처리 경로를 구분하는 하이브리드 구조를 검토할 수 있습니다.
이 과정에서는 모델의 성능과 처리 속도, 예상 사용량, 서버 운영 비용뿐 아니라 직원별 접근 권한과 중요 업무의 승인 절차도 함께 고려해야 합니다.
특히 하이브리드 구조에서는 외부 LLM으로 전달되는 질문과 데이터가 기업의 보안 정책을 위반하지 않도록 처리 경로를 통제하는 것이 중요합니다.
어떤 AI 모델을 사용할지는 기술의 유행보다
기업의 업무 목적과 보안 요구를 기준으로 결정해야 합니다.
4단계. 기업 지식을 구축하고 AI 기능을 개발합니다
설계가 완료되면 실제 AI 기능을 구축합니다.
기업의 문서를 검색해야 하는 업무라면 업무 매뉴얼과 계약서, 프로젝트 기록 등을 AI가 활용할 수 있는 지식으로 구성합니다.
필요한 경우 RAG(검색 증강 생성)를 적용해 직원의 질문과 관련된 자료를 검색하고, 해당 내용을 근거로 답변하도록 만들 수 있습니다.
실제 시스템의 정보를 조회하거나 업무를 처리해야 한다면 별도의 연동 기능을 개발합니다. 예를 들어 AI가 ERP에서 재고를 확인하거나 CRM에 상담 내용을 등록하도록 구성할 수 있습니다.
구축하는 서비스에 따라 개발 범위도 달라집니다.
AI 홈페이지는 방문자의 질문에 답변하고 관련 페이지로 이동시키거나 상담과 견적 요청으로 연결하는 기능을 중심으로 구축할 수 있습니다.
사내 지식·보안 에이전트는 기업 내부 자료를 정확하게 검색하면서 사용자별 접근 권한을 적용하는 것이 중요합니다.
AI 업무 에이전트는 특정 업무를 수행하는 독립적인 프로그램으로 개발하며, 필요한 기업 시스템과 연결해 실제 작업을 수행하도록 구성할 수 있습니다.
이때 AI가 모든 작업을 직접 수행하도록 만들 필요는 없습니다.
AI는 요청을 이해하고 필요한 작업을 판단하며, 정확한 데이터 조회나 변경은 검증된 프로그램이 처리하도록 역할을 구분할 수 있습니다.
5단계. 실제 업무를 기준으로 정확성과 보안을 검증합니다
AI 기능을 구축했다고 해서 곧바로 전체 업무에 적용하는 것은 적절하지 않습니다.
실제 직원들이 사용하는 질문과 업무 사례를 기준으로 충분한 검증을 진행해야 합니다.
예를 들어 사내 지식 에이전트라면 올바른 업무 규정을 검색하는지, 오래된 문서를 최신 정보처럼 안내하지 않는지 확인해야 합니다.
업무 에이전트라면 요청된 작업을 정확하게 수행하는지뿐 아니라 잘못된 데이터 입력이나 중복 실행이 발생하지 않는지도 점검해야 합니다.
보안 검증도 중요합니다. 접근 권한이 없는 직원이 민감 정보를 조회할 수 없는지, 중요 업무가 승인 없이 실행되지 않는지 확인해야 합니다.
온프레미스와 외부 LLM을 함께 사용하는 경우에는 기밀 정보가 외부 처리 경로로 전달되지 않는지 검증하는 과정이 필요합니다.
이러한 검증은 정상적인 업무 사례뿐 아니라 정보가 부족하거나 시스템 연결에 실패하는 상황까지 포함해야 합니다.
AX의 완성도는 AI가 얼마나 많은 답변을 생성하는지가 아니라,
실제 업무를 얼마나 정확하고 안전하게 처리하는지에 달려 있습니다.
6단계. 제한된 업무부터 운영하고 효과를 확인합니다
검증이 완료되면 선정한 업무나 부서를 대상으로 실제 운영을 시작합니다.
처음부터 모든 직원과 업무에 적용하기보다는 제한된 범위에서 사용하면서 발생하는 문제를 확인하는 것이 좋습니다.
예를 들어 홈페이지 AI라면 고객이 어떤 질문을 자주 하는지, 필요한 정보를 정확하게 안내하는지 확인할 수 있습니다.
사내 지식 에이전트는 직원들이 원하는 자료를 얼마나 빠르게 찾는지, 답변의 근거가 적절한지 살펴볼 수 있습니다.
업무 에이전트는 처리 시간과 오류 발생 횟수, 담당자의 검토 및 수정 부담 등을 측정할 수 있습니다.
운영 과정에서 발견된 문제는 데이터와 검색 방식, 업무 처리 규칙 등을 수정해 개선합니다.
기업의 정보나 업무 절차가 변경되면 AI가 활용하는 지식과 연동 기능도 함께 갱신해야 합니다.
이처럼 실제 운영 결과를 바탕으로 기능을 개선하고 적용 범위를 확대하면
초기의 위험을 줄이면서 AX를 기업의 업무 환경에 정착시킬 수 있습니다.
AX 구축은 한 번에 완성하는 프로젝트일까요?
AX는 특정 프로그램을 설치한 뒤 모든 작업이 끝나는 방식과는 다를 수 있습니다.
기업의 업무와 데이터는 계속 변화하고, 새로운 자동화 요구도 발생하기 때문입니다.
처음에는 홈페이지의 고객 문의 대응부터 시작했다가 이후 CRM을 연결해 상담 이력을 관리하고, 견적 처리까지 확대할 수 있습니다.
사내 지식 에이전트도 특정 부서의 문서에서 시작해 다른 부서의 업무 지식과 시스템으로 적용 범위를 넓힐 수 있습니다.
다만 새로운 기능을 추가할 때마다 기존 구조를 다시 개발해야 한다면 비용과 운영 부담이 커질 수 있습니다. 따라서 초기 설계 단계부터 데이터 관리와 접근 권한, 업무 실행 구조의 확장 가능성을 고려하는 것이 중요합니다.
그렇다고 실제로 필요하지 않은 기능까지 처음부터 모두 구축할 필요는 없습니다.
처음에는 필요한 업무를 정확하게 구현하고,
이후 효과가 확인된 부분을 중심으로 AX를 확장하는 것이 합리적인 접근입니다.
우리 회사의 AX는 어떤 순서로 시작하면 될까요?
기업마다 현재 사용하는 시스템과 보안 요구, 업무 환경이 다르기 때문에 모든 기업에 동일한 구축 방법을 적용할 수는 없습니다.
하지만 기본적인 접근 순서는 크게 다르지 않습니다.
업무 분석 → 데이터·시스템 확인 → AI 운영 및 보안 설계 → 구축 → 검증 → 운영과 개선
이 과정에서 가장 중요한 것은 처음부터 어떤 AI 기술을 사용할지 결정하지 않는 것입니다.
기업이 해결하려는 문제를 먼저 정의하고, 그 문제를 해결하는 데 필요한 데이터와 시스템을 확인한 후 적절한 기술을 선택해야 합니다.
외부 LLM만으로 충분한 기업도 있고, 중요 기밀을 보호하기 위해 내부 LLM이 필요한 기업도 있습니다. 보안등급에 따라 두 환경을 병렬로 활용하는 방식이 적합할 수도 있습니다.
또한 기존 홈페이지에 AI 기능을 추가하는 것으로 시작할 수도 있고, 사내 지식이나 반복 업무를 대상으로 독립적인 AI 에이전트를 구축하는 것이 우선일 수도 있습니다.
AX 구축은 기술을 도입하는 순서가 아니라, 기업의 업무를 더 나은 방식으로 바꾸는 순서에 따라 진행되어야 합니다.
AX 파트너는 기업 AX 컨설팅 및 설계를 시작으로
업무와 데이터, 기존 시스템을 분석하고, 보안 요구에 맞는 AI 운영 환경을 설계합니다.
이후 AI 홈페이지, 사내 지식·보안 에이전트, AI 업무 에이전트를 구축하고
실제 업무 적용과 검증을 통해 기업의 AX 전환을 지원합니다.
