엔비디아, 로컬 AI용 DGX Spark 64GB 모델 공개

오늘의 핵심

엔비디아가 64GB 통합 메모리를 탑재한 DGX Spark를 추가했다. 클라우드 의존도를 낮추려는 국내 서비스 운영자는 모델 적합성, 동시 처리량, 총비용을 기준으로 로컬 AI 도입 가능성을 다시 검토할 시점이다.

확인된 사실

• 엔비디아는 GB10 기반 DGX Spark에 64GB 통합 메모리 구성을 새로 추가했다. 근거 [1] [2]
• 64GB 모델은 2026년 10월 23일부터 Acer·ASUS·Dell·Gigabyte·HP·MSI를 통해 판매되며 시작 가격은 4,999달러다. 근거 [1] [2]
• DGX Spark는 여러 장치를 연결하는 클러스터링을 지원해 단일 장치의 메모리·처리 한계를 확장할 수 있다. 근거 [1] [2]
• AI Watch가 전한 엔비디아 시험 결과에 따르면 64GB 시스템 두 대 구성은 단일 시스템보다 처리 성능이 약 1.7배 높았다. 근거 [2]

왜 중요한가

• 고객 문서나 내부 데이터를 외부 클라우드로 전송하기 어려운 서비스는 로컬 추론을 적용할 수 있는 하드웨어 선택지가 늘었다.
• 클라우드 API 비용과 자체 장비의 구매·전력·운영비를 비교하는 AI 인프라 의사결정이 모델 크기와 실제 트래픽 특성에 따라 더 세분화될 수 있다.
• 64GB 메모리는 모든 모델과 긴 컨텍스트, 높은 동시 요청을 수용하지 못하므로 제품 가격보다 실제 워크로드 검증이 중요하다.

inxight의 관점

• 이번 발표의 핵심은 고성능 장비 자체보다 로컬 AI를 소규모로 시작하고 필요할 때 여러 장치로 확장하는 운영 경로가 구체화됐다는 점이다.
• 웹·앱 사업자는 로컬과 클라우드를 양자택일하기보다 민감 데이터와 반복 요청은 로컬에서, 대형 모델과 급증 트래픽은 클라우드에서 처리하는 혼합 구조를 우선 검토할 수 있다.
• 제조사가 제시한 모델 규모와 성능 수치는 실제 서비스의 컨텍스트 길이·동시 사용자·응답시간을 대신하지 않으므로 자체 벤치마크가 도입 판단의 기준이 돼야 한다.

실무 체크리스트

• 현재 AI 기능을 데이터 민감도, 모델 크기, 컨텍스트 길이, 월간 호출량 기준으로 분류한다.
• 실제 요청 샘플로 64GB 환경의 응답시간, 초당 처리량, 메모리 사용량과 품질을 측정한다.
• 장비 구매비·전력·관리 인력·장애 대비 비용을 포함한 1~3년 총소유비용을 현재 클라우드 API 비용과 비교한다.
• 로컬 장비 장애나 용량 초과 시 클라우드로 전환할 수 있는 라우팅 및 데이터 마스킹 방안을 설계한다.