회사에 데이터가 많다고 해서 AI가 그 정보를 바로 활용할 수 있는 것은 아닙니다.
기업에는 매일 새로운 정보가 쌓입니다. 고객과 주고받은 이메일, 계약서와 견적서, 회의록, 프로젝트 진행 기록, 업무 매뉴얼까지 다양한 자료가 여러 시스템에 저장됩니다.
이러한 정보를 AI와 연결하면 직원들이 필요한 내용을 쉽게 확인하고, 반복되는 업무에도 활용할 수 있을 것이라고 기대합니다.
하지만 실제 구축을 시작하면 예상하지 못한 문제를 발견하기도 합니다. 같은 내용의 문서가 여러 개 존재하거나, 최신 정보와 오래된 정보가 섞여 있고, 중요한 결정 사항이 특정 직원의 이메일에만 남아 있는 경우가 있기 때문입니다.
AI가 문서를 검색할 수 있다고 해서 그 내용이 모두 정확하거나 현재 유효한 정보인 것은 아닙니다.
따라서 기업 AX에서 중요한 것은 얼마나 많은 데이터를 보유하고 있는가보다,
그 데이터를 AI가 얼마나 정확하게 이해하고 활용할 수 있는가입니다.
회사의 데이터는 생각보다 복잡하게 흩어져 있습니다
예를 들어 여러 기업에 장비를 납품하는 제조기업을 생각해 보겠습니다.
한 고객사와 진행한 거래에 대한 정보가 영업팀의 CRM, 운영팀의 프로젝트 관리 시스템, 관리팀의 ERP에 각각 저장되어 있습니다. 계약서는 공유 폴더에 있고, 납품 일정 변경에 관한 협의는 이메일에 남아 있을 수도 있습니다.
담당 직원은 오랜 경험을 통해 어떤 자료를 어디에서 찾아야 하는지 알고 있습니다. 하지만 새로운 직원이나 다른 부서의 직원은 필요한 정보를 찾기 위해 여러 시스템을 확인해야 합니다.
이러한 상황에서 AI에게 "A 고객사의 최종 납품 조건은 무엇인가요?"라고 질문한다고 가정해 보겠습니다.
AI가 최초 견적서만 검색한다면 이후 변경된 납품 조건을 반영하지 못할 수 있습니다. 반대로 최근 이메일만 참고한다면 최종 계약에서 확정된 조건을 놓칠 수도 있습니다.
문제는 데이터가 부족하다는 것이 아닙니다.
서로 다른 시점에 만들어진 자료 중 무엇이 최종적으로 유효한 정보인지 확인할 수 있어야 한다는 점입니다.
AI가 활용할 수 있는 지식은 어떻게 만들까요?
기업의 데이터를 AI가 활용할 수 있도록 만드는 대표적인 방법 중 하나가 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.
RAG는 AI가 질문에 답변할 때 기업의 관련 자료를 검색하고, 검색된 내용을 근거로 답변을 생성하도록 하는 기술입니다.
예를 들어 직원이 사내 AI에게 "신규 거래처의 견적 승인 절차가 어떻게 되나요?"라고 질문하면, AI는 연결된 업무 매뉴얼과 사내 규정에서 관련 내용을 검색합니다.
이후 검색된 자료를 바탕으로 승인 절차를 설명하고, 필요한 경우 원본 문서의 해당 부분을 함께 안내할 수 있습니다.
이를 위해서는 단순히 파일을 저장하는 것에서 나아가 문서의 내용을 추출하고, 검색 가능한 형태로 가공하며, 관련 자료를 정확하게 찾을 수 있도록 구성해야 합니다. 문서를 내용 단위로 나누고 검색용 색인을 구축하는 과정이 필요할 수 있으며, 문서 제목과 작성일, 부서, 접근 권한 등의 정보도 함께 관리하는 것이 좋습니다.
다만 RAG를 적용했다고 해서 답변의 정확성이 자동으로 보장되는 것은 아닙니다. 검색된 자료가 오래되었거나 서로 충돌한다면 AI도 부정확한 답변을 생성할 수 있습니다.
따라서 AI가 어떤 자료를 참고해야 하는지뿐 아니라
어떤 자료를 신뢰해야 하는지까지 관리하는 과정이 필요합니다.
문서를 연결하는 것과 실제 업무 데이터를 활용하는 것은 다릅니다
기업에서 AI가 사용하는 정보는 크게 두 가지 형태로 구분해 볼 수 있습니다.
하나는 업무 매뉴얼, 계약서, 회의록처럼 문서에 기록된 지식이고, 다른 하나는 ERP나 CRM 등에 저장된 현재 매출, 재고, 고객 정보와 같은 업무 데이터입니다.
두 정보는 활용하는 방식이 다를 수 있습니다.
예를 들어 "우리 회사의 납품 지연 처리 규정은 무엇인가요?"라는 질문에는 사내 문서를 검색하는 방식이 적합합니다.
반면 "A 제품의 현재 재고가 몇 개 남았나요?"라는 질문에는 실시간 또는 최신 재고 정보를 관리하는 시스템을 조회하는 것이 적절합니다.
현재 재고 수량을 오래전에 작성된 문서에서 찾는다면 실제 상황과 다른 답변이 나올 수 있기 때문입니다.
따라서 기업 AX에서는 문서 검색과 업무 시스템 조회를 목적에 따라 구분해 설계할 필요가 있습니다.
AI는 질문을 분석해 사내 지식을 검색하거나 연결된 시스템에 필요한 정보를 요청하고, 확인된 결과를 바탕으로 답변할 수 있습니다.
두 기능이 함께 구축되면 직원은 회사의 업무 기준을 확인하면서 현재 업무 상황까지 함께 파악할 수 있습니다.
중요한 것은 모든 데이터를 하나의 AI 저장소에 넣는 것이 아니라,
정보의 성격에 맞는 방식으로 연결하고 활용하는 것입니다.
오래된 문서와 중복된 정보는 어떻게 처리할까요?
기업의 자료를 AI에 연결할 때 가장 먼저 확인해야 할 문제 중 하나는 정보의 정확성과 최신성입니다.
예를 들어 회사의 할인 정책이 지난해 변경되었지만 이전 규정이 공유 폴더에 그대로 남아 있다고 가정해 보겠습니다.
AI가 두 문서를 모두 검색한다면 서로 다른 할인 조건을 안내할 가능성이 있습니다.
이러한 문제를 줄이려면 문서의 최신 버전과 승인 상태를 구분할 수 있어야 합니다. 회사가 공식적으로 사용하는 규정인지, 검토 중인 초안인지, 더 이상 사용하지 않는 문서인지 관리하는 것입니다.
또한 동일한 정보가 여러 시스템에 존재한다면 공식적인 데이터의 출처를 정하는 것이 중요합니다.
예를 들어 계약의 최종 상태는 계약 관리 시스템에서 확인하고, 현재 제품 가격은 가격 관리 시스템을 기준으로 조회하도록 설계할 수 있습니다.
AI가 서로 다른 자료를 검색했을 때 내용이 충돌한다면 임의로 하나를 선택하기보다 담당자에게 확인이 필요하다고 안내하도록 만들 수도 있습니다.
이러한 관리 체계가 갖춰져야 AI가 기업 데이터를 안정적으로 활용할 수 있습니다.
회사의 모든 데이터를 처음부터 정리해야 할까요?
그럴 필요는 없습니다.
기업의 모든 데이터를 완벽하게 정리한 뒤 AX를 시작하려 한다면 도입에 많은 시간과 비용이 필요할 수 있습니다.
더 현실적인 방법은 먼저 적용할 업무를 선정하고, 해당 업무에 필요한 데이터부터 확인하는 것입니다.
예를 들어 고객 문의 대응을 자동화하려면 제품과 서비스 소개 자료, 가격 정보, 자주 묻는 질문, 상담 절차 등이 우선적으로 필요할 수 있습니다.
사내 업무 안내를 위한 AI를 구축한다면 업무 매뉴얼과 내부 규정, 승인된 업무 양식부터 연결할 수 있습니다.
처음에는 제한된 자료를 대상으로 검색 결과와 답변의 정확성을 검증하고, 문제가 발견되면 문서 구성이나 검색 방식을 개선하는 것이 좋습니다.
이후 실제 사용 과정에서 자주 발생하는 질문과 부족한 정보를 확인하면서 지식의 범위를 넓혀갈 수 있습니다.
기업 전체의 데이터를 한 번에 AI에 연결하는 것보다
명확한 업무 목적을 기준으로 필요한 지식을 구축하고 검증하는 방식이 초기 AX 도입에 적합합니다.
기업 데이터에는 접근 권한도 함께 적용되어야 합니다
기업 내부에는 누구나 확인할 수 있는 업무 매뉴얼도 있지만, 특정 부서나 담당자만 접근해야 하는 정보도 존재합니다.
고객 계약 조건, 직원 인사 정보, 재무 자료, 기술 문서 등이 대표적입니다.
따라서 기업의 데이터를 AI와 연결할 때에는 기존 시스템에서 적용하던 접근 권한을 함께 반영해야 합니다.
예를 들어 영업 담당자가 사내 AI에게 질문하더라도 자신에게 허용되지 않은 계약서나 다른 직원의 민감한 정보를 검색하거나 답변에 활용해서는 안 됩니다.
특정 자료가 업무상 필요하다면 관리자나 문서 소유자의 승인을 거쳐 접근하도록 구성할 수도 있습니다.
여기서 중요한 점은 답변을 생성한 이후에 민감 정보를 삭제하는 것만으로 충분하지 않다는 것입니다. 검색 단계부터 사용자 권한을 확인하고, 허용된 자료만 AI에 전달하도록 설계해야 합니다.
또한 외부 AI 서비스를 활용한다면 기업 데이터가 어디로 전송되고 어떻게 처리되는지 확인해야 합니다.
기업의 데이터를 AI가 활용할 수 있도록 만드는 과정에는 정확한 검색뿐 아니라
권한과 보안을 유지하는 구조도 포함되어야 합니다.
데이터 준비가 잘되었는지는 어떻게 확인할까요?
기업 데이터를 AI에 연결한 뒤에는 실제 업무에서 제대로 활용되는지 확인해야 합니다.
단순히 문서를 몇 개 등록했는지 또는 검색이 가능한지만 확인해서는 충분하지 않습니다.
예를 들어 영업 매뉴얼을 연결했다면 직원들이 실제로 자주 질문하는 내용을 기준으로 AI가 올바른 규정을 찾아 답변하는지 검증할 수 있습니다.
답변이 정확하더라도 오래된 자료를 참고하거나 중요한 예외 조건을 누락한다면 개선이 필요합니다.
검증 과정에서는 관련 자료 검색의 정확성, 답변의 근거 일치 여부, 정보의 최신성, 권한이 없는 자료에 대한 접근 차단 등을 함께 확인하는 것이 좋습니다.
또한 AI가 적절한 자료를 찾지 못했을 때 사실을 만들어 답변하지 않고 정보 부족을 명확하게 안내하는지도 살펴봐야 합니다.
이러한 검증 결과를 바탕으로 문서 구성과 검색 규칙, 데이터 연결 방식을 지속적으로 개선할 수 있습니다.
AX의 시작은 데이터를 많이 연결하는 것이 아닙니다
기업은 이미 많은 정보를 보유하고 있습니다. 하지만 그 정보가 여러 시스템에 흩어져 있거나 최신 상태를 확인하기 어렵다면 AI가 제대로 활용하기는 쉽지 않습니다.
AX를 위해 필요한 것은 모든 데이터를 새로운 곳으로 옮기는 작업이 아닙니다.
기존 문서와 업무 시스템에서 필요한 정보를 정확하게 찾고, 최신성과 접근 권한을 확인하며, 실제 업무에 활용할 수 있도록 연결하는 것입니다.
처음에는 하나의 업무에 필요한 자료부터 시작해도 충분합니다. 중요한 것은 연결된 데이터가 실제 질문과 업무 처리에 정확하게 활용되는지 검증하는 과정입니다.
데이터를 많이 보유한 기업에서,
이미 가진 데이터를 AI가 실제 업무에 활용할 수 있는 기업으로.
이것이 기업 데이터를 AX로 전환하는 첫 번째 목표입니다.
AX 파트너는 기업의 문서와 업무 기록을 AI가 활용할 수 있는 지식으로 구축하고,
기존 업무 시스템과 연결하며, 접근 권한과 보안을 고려한 기업 AX 환경을 설계하고 구축합니다.
