요약
앤스로픽이 가장 강력한 모델이라고 소개한 클로드 페이블5가 정작 고등학생도 답할 법한 기초 생물학 질문을 거부하고 구형 주력 모델로 넘기는 현상이 포착됐다. 강력한 역량과 과도한 안전장치가 충돌한 사례다. 이는 첨단 AI의 신뢰성과 사용성, 그리고 안전 비용이라는 산업 전반의 난제를 압축적으로 보여준다.
사건의 전말
앤스로픽은 신형 클로드 페이블5를 공개하며 생물학을 비롯한 여러 분야에서 역대 가장 뛰어난 역량을 갖췄다고 강조했다. 그러나 실제 사용자들이 광합성 원리나 세포 구조 같은 교과서 수준의 생물 질문을 던지자, 모델은 직접 답하지 않고 질의를 이전 주력 모델로 떠넘기는 모습을 보였다.
이는 단순 오류가 아니라 의도된 설계로 해석된다. 생물학은 의약·유전 정보처럼 유용한 동시에, 병원체 합성 같은 이중용도 위험을 안고 있다. 신모델일수록 능력이 강해 위험 질의를 더 정교하게 처리할 수 있다는 우려 때문에, 개발사는 생물 분야 질의에 보수적인 필터를 건 것으로 보인다. 문제는 그 필터가 위험 질의와 무해한 학습 질의를 제대로 구분하지 못한다는 점이다.
결과적으로 가장 똑똑하다고 홍보된 모델이 가장 기초적인 질문 앞에서 무력해지는 역설이 발생했다. 사용자 입장에서는 더 비싼 최신 모델을 쓰고도 구형 모델보다 못한 답을 받는 셈이어서 신뢰성 논란이 불가피하다.
구조적 배경
최근 프런티어 AI 경쟁은 성능 향상과 안전 통제가 동시에 진행되는 국면이다. 모델이 강력해질수록 오남용 가능성도 커지기에, 개발사들은 분류기와 거부 정책을 점점 촘촘하게 적용한다. 그러나 안전 기준이 과하게 작동하면 정상적인 교육·연구 수요까지 차단되는 과잉 거부 문제가 생긴다.
이번 사례는 안전과 유용성의 균형추가 여전히 안전 쪽으로 거칠게 기울어 있음을 보여준다. 규제 당국의 압박과 평판 리스크를 의식한 보수적 설계가, 역설적으로 제품 완성도를 떨어뜨리는 단계에 와 있다는 신호다.
종목·업종 파급
- 아마존·알파벳: 앤스로픽의 주요 전략 투자자이자 클라우드 파트너로, 모델 신뢰성 논란이 장기화되면 자체 AI 생태계 평판에 간접 영향을 받을 수 있다.
- 마이크로소프트·오픈AI 진영: 경쟁 모델의 사용성 허점은 상대적 반사이익 요인이며, 과잉 거부를 덜 겪는 제품이 기업 고객 확보에 유리해진다.
- 엔비디아 등 AI 반도체: 모델 세대 교체와 추론 수요 자체는 견조하므로 단기 영향은 제한적이지만, 신뢰성 이슈가 채택 속도를 늦추면 수요 모멘텀에 미세한 변수로 작용한다.
- AI 안전·평가 솔루션 업종: 과잉 거부 측정과 가드레일 튜닝 수요가 부각되며, 모델 평가·레드팀 관련 서비스의 존재감이 커진다.
