VMware, 기업용 AI 운영 무대를 프라이빗 클라우드로 확장

오늘의 핵심

Broadcom이 VMware Private AI Cloud와 AI Factory를 공개했다. 기업이 자체 인프라에서 여러 AI 모델과 에이전트를 운영·통제하도록 묶은 구성이어서, 국내 서비스 운영자는 비용뿐 아니라 데이터 위치와 권한 관리 체계를 함께 재검토해야 한다.

확인된 사실

• Broadcom은 VMware Cloud Foundation을 기반으로 AI 추론과 에이전트 워크로드를 자체 인프라에서 운영하는 VMware Private AI Cloud와 AI Factory 구성을 공개했다. 근거 [1] [2] [3]
• 새 구성은 서버와 가속기, 네트워크, 쿠버네티스, AI 소프트웨어 및 모델 배포를 하나의 운영 흐름으로 자동화하는 데 초점을 맞춘다. 근거 [1] [3]
• VMware 측은 150개 이상의 모델 지원과 다중 테넌트 모델 공유, AI 게이트웨이, 격리형 에이전트 실행 환경 등 운영 기능을 제시했다. 근거 [1]
• 이번 발표의 핵심 경쟁축은 단순 모델 성능이 아니라 데이터 위치, 인프라 비용, 에이전트 권한과 행동을 누가 통제하느냐로 이동했다는 점이다. 근거 [1] [2] [3]

왜 중요한가

• 고객·업무 데이터를 외부 모델 API로 전송하던 서비스는 온프레미스와 퍼블릭 클라우드를 조합하는 하이브리드 구조를 현실적인 대안으로 비교할 수 있게 됐다.
• AI 에이전트가 실제 업무 도구를 호출하기 시작하면 모델 정확도뿐 아니라 최소권한, 비밀정보 격리, 호출 기록과 승인 절차가 서비스 운영의 필수 요건이 된다.
• 자체 인프라는 API 단가를 줄일 가능성이 있지만 가속기 조달과 유휴 자원 비용을 떠안으므로, 사용량이 충분하지 않으면 경제성이 오히려 나빠질 수 있다.

inxight의 관점

• 이번 발표는 모든 AI를 사내로 옮기라는 신호가 아니다. 민감 데이터와 반복 추론은 내부에 두고, 최신 범용 모델이 필요한 작업은 외부 API를 쓰는 워크로드별 배치가 핵심이다.
• 발주 단계에서 모델 이름보다 데이터 이동 경로, 테넌트 격리, 도구별 권한, 감사 로그, 장애 시 외부 모델 전환 방식까지 요구사항으로 명시해야 한다.
• 프라이빗 AI의 비용 평가는 서버 구매액이 아니라 GPU 가동률, 토큰당 총비용, 운영 인력, 보안 통제 비용을 포함해 비교해야 한다.

실무 체크리스트

• 현재 AI 기능별로 입력 데이터의 민감도, 외부 전송 여부, 저장 위치와 보존 기간을 한 장의 데이터 흐름도로 정리한다.
• 퍼블릭 API와 자체 호스팅 후보를 동일한 업무량으로 시험해 토큰당 총비용, 응답 지연, GPU 가동률과 운영 시간을 비교한다.
• 에이전트마다 허용 도구와 데이터, 네트워크 접근, 실행 한도, 사람 승인 조건을 정의하고 기본 거부 방식으로 적용한다.
• 플랫폼 제안서나 구축 계약서에 모델 교체 가능성, 표준 API 호환성, 로그 반출과 데이터 이전 조건을 포함해 공급자 종속 위험을 점검한다.