인공지능(AI) 모델 클로드 개발사 앤트로픽이 AI 모델 개발 속도를 늦추거나 일시 중단하는 방안을 검토해야 한다고 주장했습니다.
고성능 AI가 스스로 후속 모델을 설계·개선하는 '재귀적 자기개선(recursive self-improvement)' 단계에 가까워지고 있다는 내부 분석을 공개하며, 전 세계가 속도 조절과 통제 장치를 논의해야 한다고 촉구한 것입니다.
앤트로픽은 자사 연구 조직인 '앤트로픽 인스티튜트(The Anthropic Institute)' 웹페이지를 통해, 최신 AI 모델이 이미 AI 연구·개발(R&D) 자체를 가속하는 징후가 뚜렷이 나타나고 있다고 4일(현지시간) 밝혔습니다.
회사는 “새 모델을 출시할 때마다 동일한 테스트를 한다”며 “소형 AI 모델을 학습시키는 코드를 제시하고, 새 모델에게 이 코드를 더 빠르게 돌아가도록 개선하라고 요구한다”고 설명했습니다.
숙련된 인간 연구자가 이 코드를 최적화해 약 4배(4배속) 속도를 끌어올리는 데 4~8시간이 걸리는 반면, 2024년 5월 기준 클로드 오퍼스 4(Claude Opus 4)는 평균 약 3배 속도 향상을 자동으로 달성했고, 이후 공개된 '미토스 프리뷰(Mythos Preview)'는 이 테스트에서 약 52배 속도 향상을 보였다는 내부 데이터도 공개했습니다.
앤트로픽은 이 같은 수치가 “클로드가 이미 AI 개발을 가속하고 있음을 보여준다”고 평가했습니다. 코드 최적화뿐 아니라, 모델 구조 설계, 실험 설계 및 분석, 하이퍼파라미터 탐색 등 AI 연구의 여러 과정에서 AI가 사람을 보조하는 수준을 넘어 상당 부분을 직접 수행하기 시작했다는 것입니다. 회사는 이를 “재귀적 자기개선으로 이어질 수 있는 하나의 경로”로 규정했습니다. AI 시스템이 후속 모델의 설계·훈련·검증을 주도하게 되면, AI가 스스로를 더욱 빠르게 발전시키는 단계에 들어설 수 있다는 설명입니다.
다만 앤트로픽은 아직 당장 '지능 폭발(intelligence explosion)'이나 완전한 자기개선 국면에 들어섰다고 보지는 않는다고 선을 그었습니다. 회사는 “이런 속도 향상이 곧바로 재귀적 자기개선이 임박했다는 의미는 아니다”며 “클로드가 진정한 의미의 연구 판단, 즉 어떤 문제를 우선적으로 풀어야 하는지 스스로 선택하는 능력을 갖췄는지는 아직 불분명하다”고 밝혔습니다. 그럼에도 “AI가 AI 개발을 가속하는 현상이 예상보다 빠르게 나타나고 있으며, 그 함의는 더 많은 주의를 기울일 가치가 있다”고 강조했습니다.
앤트로픽의 문제의식은 기술 자체보다 '속도'와 '통제'에 맞춰져 있습니다. 회사는 웹페이지에서 “AI 시스템이 점점 더 강력해지고, 잠재적으로 스스로를 개선할 수 있는 수준에 가까워지는 상황에서, 인류는 이 기술의 미래 개발 방향에 대해 의식적인 선택(deliberate choices)을 할 수 있어야 한다”고 밝혔습니다. AI가 자율적으로 후속 모델을 설계하는 단계에 이르면, 의학·과학·에너지 등에서 혁신적인 성과가 나올 수 있는 반면, 정렬(alignment) 문제와 통제 상실(loss of control) 위험이 동시에 증폭될 수 있다는 것입니다.
앤트로픽은 이런 이유로 “프런티어 AI 개발 속도를 늦추거나 일시 중단할 수 있는 국제적 선택지가 필요하다”고 주장했습니다. 단일 기업이 스스로 개발을 멈추는 선언만으로는 실질적인 효과를 내기 어렵기 때문에, 여러 국가와 기업이 함께 참여하는 국제적 합의와 제도적 장치를 마련해야 한다는 입장입니다. 필요할 경우 최고 성능 AI 모델의 학습·배포를 일정 기간 늦추거나 중단할 수 있는 규범·기술·감독 체계를 미리 논의해 두어야 한다는 제언입니다.
앤트로픽 인스티튜트는 외부 연구자·정책 결정자·시민사회와 협력해, 점점 강력해지는 AI 시스템과 잠재적 자기개선 능력이 사회·경제·안보에 미칠 영향을 연구하겠다고 밝혔습니다. 구체적으로는 AI가 실제로 어느 정도까지 R&D를 자동화하고 있는지, 어떤 지표를 통해 재귀적 자기개선의 초기 징후를 모니터링할 수 있는지, 그리고 이런 기술이 일자리·경제 구조·안보 환경에 어떤 파급을 가져올지를 분석하겠다는 계획입니다.
앤트로픽의 이번 발표는 AI 업계 내부에서 나오고 있는 'AI 개발 속도 조절론'에 힘을 실어주는 동시에, 논쟁도 불러일으키고 있습니다. 일부에서는 “최고 성능 모델을 가진 회사가 경쟁사의 속도를 늦추기 위해 규제를 요구하고 있다”는 이해상충 가능성을 제기합니다. 반면, 다른 쪽에서는 “AI 기업 내부에서조차 현실적인 자기개선 가능성과 통제 상실 위험을 우려하고 있다”는 점에서 이번 문제 제기를 무겁게 받아들여야 한다는 목소리도 큽니다.
앤트로픽은 “AI가 스스로 후속 모델을 만드는 단계에 도달했다거나, 곧바로 그런 상황이 올 것이라고 단정하는 것은 아니다”라고 재차 강조하면서도, “예상보다 빠르게 다가오고 있는 변화에 대비하기 위해 지금부터 속도 조절과 안전 장치에 대한 글로벌 논의를 시작해야 한다”고 거듭 촉구했습니다.
AI가 스스로 AI 개발을 돕는 시대가 가까워질 가능성이 제기되면서, 기술 발전의 속도와 통제 방안을 둘러싼 논의도 더욱 활발해질 전망입니다.
최성훈 기자 csh87@etnews.com