마이크로소프트, 인간 통제 중심의 AI 행동원칙 공개

마이크로소프트 AI는 사람이 AI에 대한 의미 있는 통제권을 유지해야 한다는 행동원칙을 9월 14일 공개했다.

근거 [1] [2]

새 원칙은 모델이 인간의 중단, 방향 전환 또는 종료 지시를 거부하지 못하도록 하고, 원칙을 위반해야만 수행 가능한 작업은 완료하지 않도록 요구한다.

근거 [2]

행동원칙에는 공격적 사이버 활동, 대량 영향력 행사, 비동의 딥페이크 등 고위험 용도에 대한 지원 제한이 포함됐다.

근거 [2]

마이크로소프트는 앞으로 6주 동안 외부 의견을 수렴해 행동원칙을 다듬을 계획이다.

근거 [2]

이 원칙은 안전과 성능·개발 속도가 충돌할 때 일부 역량이나 속도를 포기할 가능성까지 전제로 한다.

근거 [1] [2]

AI 에이전트가 고객 응대, 콘텐츠 발행, 데이터 변경까지 맡으면 모델의 답변 품질보다 누가 언제 작업을 중단하고 되돌릴 수 있는지가 서비스 안정성을 좌우한다.

글로벌 공급자가 인간 통제와 명시적 실패 조건을 제품 원칙으로 제시하면서 국내 발주서와 운영 정책에도 중단 장치, 권한 한계, 금지 업무를 구체적으로 적을 필요가 커졌다.

공개 의견 수렴 기간은 기업이 실제 운영에서 필요한 통제 요건을 검토하고 공급자 정책과 내부 기준의 차이를 확인할 기회다.

‘사람이 최종 결정한다’는 선언만으로는 부족하다. 승인 대상 작업, 강제 중단 권한자, 자동화가 실패해야 하는 조건을 화면과 시스템 권한으로 구현해야 한다.

AI 공급자의 안전원칙은 서비스 운영자의 책임을 대신하지 않는다. 모델 교체에도 유지되는 자체 정책 계층과 감사 로그가 필요하다.

성능 평가표에 정확도와 비용뿐 아니라 중단 성공률, 권한 초과 시도, 안전한 실패 여부를 포함해야 실제 운영 위험을 비교할 수 있다.