회사의 중요한 정보를 AI에 연결하면, 그 정보가 외부로 유출되지는 않을까요?
기업이 AX(AI Transformation)를 도입할 때 가장 신중하게 검토하는 문제 중 하나는 보안입니다.
고객과 체결한 계약서, 거래처별 가격 조건, 내부 재무 자료, 기술 문서 등은 기업의 중요한 자산입니다. 이러한 정보를 AI가 활용할 수 있다면 업무 효율을 높일 수 있지만, 외부 서비스로 정보가 전달되거나 권한이 없는 직원에게 노출될 가능성도 고려해야 합니다.
특히 기업의 데이터를 외부 LLM에 연결할 때에는 어떤 정보가 전송되고, 서비스 제공자가 해당 데이터를 어떻게 처리하는지 확인해야 합니다.
그렇다면 기업의 중요한 정보를 보호하기 위해 외부 AI 서비스를 전혀 사용하지 않아야 할까요?
반드시 그렇지는 않습니다. 기업 내부에서 운영하는 AI와 외부 AI 서비스를 함께 활용하면서 정보의 보안등급에 따라 처리 방식을 구분할 수 있기 때문입니다.
중요한 것은 모든 정보를 AI에 공개하는 것이 아니라,
어떤 정보를 어느 AI가 처리할 수 있는지 기업이 통제하는 것입니다.
모든 기업 정보에 동일한 보안이 필요한 것은 아닙니다
예를 들어 여러 거래처에 산업용 장비를 공급하는 제조기업을 생각해 보겠습니다.
이 회사에는 홈페이지에 공개된 제품 설명서도 있지만, 고객별 할인 조건과 계약 금액, 내부 원가 자료처럼 외부에 공개해서는 안 되는 정보도 존재합니다.
직원이 AI에게 제품의 일반적인 특징을 설명해 달라고 요청하는 것과 비공개 계약서의 주요 조건을 분석해 달라고 요청하는 것은 서로 다른 보안 수준을 요구합니다.
그런데 모든 질문과 데이터를 동일한 외부 AI 서비스로 전달한다면 중요한 기업 정보가 불필요하게 외부로 전송될 수 있습니다.
반대로 모든 요청을 사내 AI에서만 처리하도록 제한하면 외부 고성능 모델을 활용할 수 있는 업무까지 내부 환경에 의존하게 됩니다.
따라서 기업 AX에서는 먼저 데이터의 민감도와 업무 목적에 따라 처리 기준을 구분하는 것이 중요합니다.
예를 들어 공개 가능한 제품 정보는 외부 AI를 활용할 수 있지만, 비공개 계약서나 핵심 기술 문서는 내부에서만 처리하도록 정책을 정할 수 있습니다.
이처럼 정보의 보안등급에 따라 AI 활용 범위를 구분하면 기업 기밀을 보호하면서도 외부 AI의 성능을 활용할 수 있습니다.
내부 LLM과 외부 LLM을 함께 활용하는 방법
AX 파트너는 기업의 보안 요구에 대응하기 위해 온프레미스 내부 LLM과 외부 LLM을 병렬로 활용하는 구조를 지향합니다.
온프레미스(On-premises)는 기업이 직접 통제하는 내부 서버 환경에서 AI 모델을 운영하는 방식입니다. 기업의 중요 데이터를 내부에 유지하면서 AI가 필요한 분석을 수행하도록 구성할 수 있습니다.
외부 LLM은 별도의 외부 AI 서비스를 통해 제공되는 모델로, 기업의 보안 정책상 외부 처리가 허용된 업무에 활용할 수 있습니다.
두 모델을 함께 운영하는 환경에서는 사용자의 질문과 관련 데이터의 보안등급을 확인한 뒤 적절한 처리 경로를 선택하도록 설계할 수 있습니다.
예를 들어 직원이 홈페이지에 공개된 제품 설명을 요약해 달라고 요청한다면 외부 LLM을 활용할 수 있습니다.
반면 비공개 계약서의 주요 조건을 분석해 달라고 요청한다면 해당 문서를 내부 LLM에서 처리하도록 구성할 수 있습니다.
하나의 업무에 공개 정보와 기밀 정보가 함께 필요한 경우에는 두 처리 경로를 분리하는 방식도 검토할 수 있습니다. 다만 이때 외부 LLM으로 전달되는 질문과 중간 결과에 기밀 정보가 포함되지 않도록 통제해야 합니다.
이러한 구조의 핵심은 내부 모델과 외부 모델 중 하나를 선택하는 것이 아닙니다.
기업의 중요한 정보는 내부에서 보호하면서,
외부 사용이 허용된 업무에는 외부 LLM의 분석 능력을 활용하는 것입니다.
보안등급에 따라 AI의 처리 경로가 달라집니다
이러한 구조가 실제로 작동하려면 기업 데이터에 대한 보안 기준이 필요합니다.
예를 들어 회사의 정보를 공개 자료, 일반 사내 자료, 중요 기밀 자료로 구분할 수 있습니다.
공개 자료는 기업이 승인한 외부 AI 서비스에서도 처리할 수 있지만, 일반 사내 자료는 외부 전송 가능 범위와 서비스의 데이터 처리 조건을 확인해야 합니다. 중요 기밀 자료는 내부 LLM에서만 처리하도록 제한할 수 있습니다.
물론 실제 보안등급과 처리 기준은 기업의 내부 정책에 따라 달라집니다.
중요한 것은 문서의 보안등급만 확인하는 것으로 끝나지 않는다는 점입니다.
사용자의 질문 자체에 민감한 정보가 포함되어 있을 수도 있고, AI가 검색한 여러 문서를 결합하는 과정에서 비공개 정보가 결과에 포함될 수도 있습니다.
따라서 외부 LLM을 사용하기 전에는 질문 내용과 검색 결과, 실제 전송할 데이터까지 확인하도록 설계해야 합니다.
특히 보안등급을 명확하게 판단할 수 없는 자료는 임의로 외부에 전달하기보다 내부에서 처리하거나 담당자의 확인을 거치는 방식이 적절합니다.
이러한 통제 구조가 갖춰져야 기업은 데이터의 민감도에 따라 내부·외부 LLM을 안전하게 활용할 수 있습니다.
외부 LLM을 사용하면 기업 데이터가 학습될까요?
기업이 우려하는 또 다른 문제는 외부 AI 서비스에 전달한 정보가 모델 학습에 사용되는지 여부입니다.
이 부분은 사용하는 AI 서비스의 계약 조건과 데이터 처리 정책, 설정에 따라 달라집니다. 따라서 외부 LLM을 도입할 때에는 입력 데이터의 학습 활용 여부와 보관 기간, 처리 목적 등을 확인해야 합니다.
여기서 구분해야 할 개념이 있습니다.
기업의 문서를 RAG(Retrieval-Augmented Generation) 방식으로 검색해 AI가 답변에 참고하도록 하는 것과, 해당 문서로 LLM 자체를 학습시키는 것은 서로 다른 과정입니다.
RAG에서는 질문과 관련된 문서를 검색하고, 필요한 내용을 AI에 제공해 답변을 생성하도록 합니다. 이 과정에서 반드시 LLM의 모델 가중치가 변경되는 것은 아닙니다.
하지만 모델을 학습시키지 않더라도 검색된 문서 내용이 외부 AI 서비스로 전달될 수 있다는 점은 별개의 문제입니다.
AX 파트너가 내부 LLM과 외부 LLM을 구분해 활용하는 이유도 여기에 있습니다.
기밀 자료는 내부 환경에서 분석하고, 외부 전송이 허용된 정보만 외부 LLM에서 처리하도록 구성하면
기업 데이터의 외부 노출 범위를 줄일 수 있습니다.
직원마다 접근할 수 있는 정보도 달라야 합니다
외부 데이터 전송을 제한하는 것만으로 기업 AI 보안이 완성되지는 않습니다.
기업 내부에서도 직원마다 접근할 수 있는 정보가 다르기 때문입니다.
예를 들어 영업 담당자는 자신이 관리하는 고객사의 계약 조건을 확인할 수 있지만, 다른 부서의 인사 정보나 비공개 재무 자료까지 조회할 필요는 없습니다.
따라서 사내 AI 에이전트는 직원의 소속 부서와 업무 권한에 따라 검색할 수 있는 자료를 구분해야 합니다.
여기서 중요한 것은 AI가 답변을 생성한 후 민감한 내용을 삭제하는 것만으로는 충분하지 않다는 점입니다.
정보를 검색하는 단계부터 사용자의 권한을 확인하고, 허용된 자료만 내부 또는 외부 LLM의 분석 과정에 제공해야 합니다.
특정 자료에 대한 접근이 필요한 경우에는 관리자나 문서 소유자의 승인을 거치도록 구성할 수도 있습니다.
또한 문서나 데이터의 저장 및 전송 과정에 암호화를 적용해 중요 정보를 보호할 수 있습니다.
다만 암호화만으로 모든 보안 문제가 해결되는 것은 아닙니다.
AI가 실제로 내용을 분석하는 과정에서는 데이터의 접근과 처리 권한이 적절하게 통제되어야 합니다.
내부 LLM을 운영하더라도 직원별 접근 권한과 데이터 보호 정책은 반드시 함께 적용되어야 합니다.
AI가 업무를 실행한다면 승인 절차도 필요합니다
기업 AX는 문서를 검색하고 질문에 답변하는 수준에서 실제 업무를 수행하는 에이전트로 확장될 수 있습니다.
예를 들어 AI가 CRM에서 고객 정보를 조회하고 상담 내용을 정리하는 기능을 생각해 볼 수 있습니다.
이러한 업무는 정해진 접근 권한 안에서 처리할 수 있지만, 계약 금액을 변경하거나 고객에게 중요한 조건을 확정해 전달하는 작업에는 별도의 승인이 필요할 수 있습니다.
따라서 AI가 정보를 조회할 수 있는 권한과 실제 시스템의 데이터를 변경할 수 있는 권한은 구분해야 합니다.
AI가 변경 내용을 제안하더라도 중요한 작업은 담당자의 승인을 거친 후 실행하도록 설계할 수 있습니다.
또한 어떤 모델이 어떤 정보를 활용했고, 어떤 작업을 요청했으며, 실제로 어떤 시스템 변경이 이루어졌는지 기록을 남기는 것이 중요합니다.
이는 내부 LLM과 외부 LLM을 병렬로 운영하는 환경에서도 마찬가지입니다.
정보를 안전하게 분석하는 것과 실제 업무를 안전하게 실행하는 것은 함께 고려해야 할 별도의 보안 영역입니다.
우리 회사에서는 어떤 보안 구조가 필요할까요?
모든 기업이 동일한 AI 보안 환경을 구축해야 하는 것은 아닙니다.
공개된 제품 정보와 일반적인 업무 자료를 주로 활용하는 기업이라면 적절한 보안 설정을 갖춘 외부 AI 서비스를 중심으로 시작할 수 있습니다.
반면 고객의 비공개 계약서, 내부 원가 자료, 기술 정보 등 중요한 데이터를 AI로 분석해야 하는 기업이라면 온프레미스 내부 LLM의 필요성이 커질 수 있습니다.
두 종류의 업무가 함께 존재한다면 내부 LLM과 외부 LLM을 병렬로 활용하는 하이브리드 구조를 검토할 수 있습니다.
다만 온프레미스 구축에는 별도의 서버와 운영 비용이 발생할 수 있으며, 내부 모델의 성능이 모든 업무에서 외부 고성능 모델과 동일한 것은 아닙니다.
따라서 기업의 데이터 민감도와 업무 목적, 필요한 분석 성능, 운영 비용 등을 종합적으로 고려해야 합니다.
AX 도입 초기에는 우선 사용할 데이터를 분류하고 외부 전송이 가능한 범위를 정한 뒤, 내부 처리가 필요한 업무를 확인하는 것부터 시작할 수 있습니다.
이후 실제 업무를 대상으로 답변 정확성과 보안 정책 준수 여부를 검증하면서 적용 범위를 확대하는 것이 적절합니다.
기업 기밀은 보호하고, AI의 활용 가능성은 넓힙니다
기업이 AX를 도입하기 위해 중요한 정보를 무조건 외부 AI에 제공할 필요는 없습니다.
그렇다고 모든 업무를 내부 AI에서만 처리해야 하는 것도 아닙니다.
데이터의 보안등급과 업무 목적에 따라 내부 LLM과 외부 LLM을 구분해 활용하면 기업이 요구하는 보안 수준을 유지하면서 다양한 AI 기능을 적용할 수 있습니다.
여기에 직원별 접근 권한과 데이터 암호화, 업무 승인 절차, 실행 기록 관리가 함께 적용되어야 합니다.
특히 내부·외부 모델을 병렬로 운영하는 환경에서는 어떤 정보가 외부로 전달되는지 통제하고, 보안 정책을 벗어나는 처리를 차단하는 구조가 중요합니다.
기업 기밀은 내부에서 보호하고, 외부 AI의 분석 능력은 허용된 업무에 활용하는 것.
이것이 AX 파트너가 지향하는 기업 AI 보안 설계의 핵심 방향입니다.
AX 파트너는 온프레미스 내부 LLM과 외부 LLM을 기업의 보안등급에 따라 병렬로 활용하는 구조를 기반으로,
사내 지식과 업무 시스템을 안전하게 연결하고 기업의 보안 요구에 맞는 AX 환경을 설계하고 구축합니다.
