정부는 최근 발표된 인공지능(인공지능) 모델에 대한 안전성 평가를 기업 자율만으로 맡기지 말라는 주장을 내세웠다. 전문가들은 새 모델이 미리 위험을 초래할 가능성이 높아, 국가 차원의 개입이 필수적이라고 강조했다. 현장에서는 인공지능의 고위험 역량을 체계적으로 검증할 수 있는 ‘레드라인’ 제정을 요구하며, 기업 내부와 외부 평가를 결합하는 방안을 논의하고 있다.
마이크로소프트 부문 수장은 24일 블룸버그 뉴스레터에서 “인공지능 모델이 공개 전에는 명확한 위험 수준을 점검해야 한다”는 입장을 밝혔다. 그는 기업 자율에만 맡겨서는 안된다고 지적하며, 정부가 직접 참여하는 평가 체계의 필요성을 강조했다. 구체적인 기술 기준과 시행 일정은 제시되지 않았으나, 해당 논의는 인공지능 모델이 공개 전 검증을 필수로 삼는다.
마이크로소프트는 미국 AI 표준·혁신센터(CAISI)와 영국 AI 보안연구소(AISI)를 통해 프런티어 모델의 안전성과 고위험 역량을 점검하는 협력 체계를 발표했다. 이 두 기관은 인공지능 모델 출시를 사전 승인하고, 위험 수준을 분류해 공개 범위를 정하는 제도를 구분한다. 또한, 미국 국립표준기술연구소(NIST)와의 공동 개발 방안을 5월에 공개했으며, 이는 인공지능이 예상 밖 행동과 악용 경로를 실험적으로 시험하는 방법론을 포함한다.
평가 체계의 재현성을 높이기 위한 공통 프레임워크와 데이터셋, 작업 절차도 개발 대상에 포함됐다. 같은 모델을 비슷한 조건에서 시험해 결과를 비교할 수 있도록 평가 방식을 표준화하려는 목적이다. 영국 AISI와의 협력은 고위험 역량과 안전장치의 효과를 검증하는 데 초점을 맞춘다. 대화형 인공지능이 민감한 상황에서 사용자와 어떻게 상호작용하는지 살피는 사회적 회복력 연구도 협력 범위에 들어갔다.
마이크로소프트의 프런티어 거버넌스 프레임워크는 고위험 역량 평가와 외부 검증, 모델 위험 분류와 평가 정보 공개 원칙을 담고 있다. 상업적으로 민감하거나 악용될 수 있는 정보는 공개 범위가 제한될 수 있다. 정부 평가가 실제로 작동하려면 평가기관의 독립성과 기업 내부 데이터 접근권이 함께 확보돼야 한다. 이때문은 평가 결과를 어느 수준까지 공개할지도 모델 개발사와 정부 사이에서 조율해야 할 사안이다.
전반적으로 온라인에서는 정부 감독을 강화해야 한다는 의견과 대형 기업이 규제를 활용해 소규모 경쟁사의 진입을 어렵게 만들 수 있다는 우려가 함께 나왔다. 다만 이는 일부 온라인 이용자 반응으로, 전체 업계의 입장으로 일반화하기 어려우나, 인공지능 모델 도입 과정에서 평가 기준과 공개 범위는 중요한 요소가 될 전망이다.