마이크로소프트, 인간 통제 중심의 AI 행동원칙 공개

오늘의 핵심

마이크로소프트가 AI 모델이 인간의 중단·전환·종료 지시를 거부하지 못하도록 하는 행동원칙을 공개하고 6주간 의견 수렴에 들어갔다. AI를 도입한 국내 서비스도 모델 성능뿐 아니라 통제권과 실패 조건을 운영 기준으로 명문화할 시점이다.

확인된 사실

• 마이크로소프트 AI는 사람이 AI에 대한 의미 있는 통제권을 유지해야 한다는 행동원칙을 9월 14일 공개했다. 근거 [1] [2]
• 새 원칙은 모델이 인간의 중단, 방향 전환 또는 종료 지시를 거부하지 못하도록 하고, 원칙을 위반해야만 수행 가능한 작업은 완료하지 않도록 요구한다. 근거 [2]
• 행동원칙에는 공격적 사이버 활동, 대량 영향력 행사, 비동의 딥페이크 등 고위험 용도에 대한 지원 제한이 포함됐다. 근거 [2]
• 마이크로소프트는 앞으로 6주 동안 외부 의견을 수렴해 행동원칙을 다듬을 계획이다. 근거 [2]
• 이 원칙은 안전과 성능·개발 속도가 충돌할 때 일부 역량이나 속도를 포기할 가능성까지 전제로 한다. 근거 [1] [2]

왜 중요한가

• AI 에이전트가 고객 응대, 콘텐츠 발행, 데이터 변경까지 맡으면 모델의 답변 품질보다 누가 언제 작업을 중단하고 되돌릴 수 있는지가 서비스 안정성을 좌우한다.
• 글로벌 공급자가 인간 통제와 명시적 실패 조건을 제품 원칙으로 제시하면서 국내 발주서와 운영 정책에도 중단 장치, 권한 한계, 금지 업무를 구체적으로 적을 필요가 커졌다.
• 공개 의견 수렴 기간은 기업이 실제 운영에서 필요한 통제 요건을 검토하고 공급자 정책과 내부 기준의 차이를 확인할 기회다.

inxight의 관점

• ‘사람이 최종 결정한다’는 선언만으로는 부족하다. 승인 대상 작업, 강제 중단 권한자, 자동화가 실패해야 하는 조건을 화면과 시스템 권한으로 구현해야 한다.
• AI 공급자의 안전원칙은 서비스 운영자의 책임을 대신하지 않는다. 모델 교체에도 유지되는 자체 정책 계층과 감사 로그가 필요하다.
• 성능 평가표에 정확도와 비용뿐 아니라 중단 성공률, 권한 초과 시도, 안전한 실패 여부를 포함해야 실제 운영 위험을 비교할 수 있다.

실무 체크리스트

• 운영 중인 AI 기능을 조회·추천·생성·외부 전송·데이터 변경으로 구분하고 각 단계의 승인자와 중단 수단을 문서화한다.
• 결제, 게시, 고객정보 변경처럼 되돌리기 어려운 작업에는 실행 직전 사람의 명시적 승인을 요구한다.
• 모델이 금지된 요청을 받거나 정책 판단에 실패했을 때 작업을 중단하고 운영자에게 넘기는 시나리오를 테스트한다.
• 프롬프트, 도구 호출, 승인, 취소와 결과를 연결해 추적할 수 있는 감사 로그의 보존 범위와 접근 권한을 점검한다.