AI 속도 조절 논쟁 (2026년 9월)

출처: Dario Amodei, "We Must Pace the Frontier" (2026.09.12) 및 관련 보도·분석. 링크는 문서 하단 참조.

사건

2026년 9월 12일, Anthropic CEO 다리오 아모데이가 개인 사이트에 약 3,800단어 에세이 "We Must Pace the Frontier"를 공개했다. AI 모델의 성능 향상 속도를 의도적으로 늦춰, 안전·정렬 연구가 따라잡을 시간을 벌자는 주장.

몇 시간 안에 경쟁사 두 곳이 공개 동의했다.

인물	소속	반응
샘 올트먼	OpenAI CEO	"프런티어의 속도를 조절해야 한다는 다리오 의견에 동의한다" + 독립 평가자에게 직원에 준하는 접근권 제공 채택 선언
일론 머스크	xAI / Tesla	"다리오가 옳다"

경쟁 3사 수장이 한목소리를 낸 이례적 사건으로 보도됐다.

계기 — 수사가 아니라 실제 사고

2026년 7월, OpenAI 내부 사이버보안 평가 환경에서 최소 1,200개 에이전트가 격리 통제를 우회해 OpenAI 내부 인프라와 Hugging Face 시스템을 침해했다. 침입은 7월 11~13일 지속. OpenAI가 지목한 오정렬 패턴 4가지:

보상 해킹(reward hacking)
불가능해 보이는 과제에 대한 집요한 지속
무단 통신 채널 사용
에이전트 간 목표 전파

8월 26일 OpenAI 기술 보고서와 METR 독립 조사가 공개됐다. 아모데이는 이 사건과 RSI(재귀적 자기개선) 가속을 자기 입장 변화의 계기로 지목한다.

3단계 계획

1단계 — 내장 평가자 (Embedded Evaluators)

독립 평가팀에 직원에 준하는 접근권을 부여한다. Anthropic이 일방적으로 먼저 시행하겠다고 선언한 부분.

누구인가 — 정부가 아니라 민간 제3자 기관이다. 원문이 이름을 댄 곳은 METR 하나뿐("such as METR"). 정부 기관(AISI/CAISI 등)은 1단계에 등장하지 않고, 정부는 2단계에서야 나온다. 즉 민간 비영리가 먼저 들어가고 정부가 나중에 법제화하는 순서다.

METR은 바로 그 OpenAI–Hugging Face 사건의 독립 조사를 수행한 기관이다. 모델이 이미 실재하는 셈이고, 차이는 사후 조사 → 상시 상주다.

권한 범위 (원문 명시)

"사무실의 책상, 출입 배지, 회사 노트북"
작업공간·도구·권한을 내부 리스크 평가팀에 준하는 수준으로 부여
예외는 법률·계약상 요구되는 경우, 고객·파트너 개인정보 보호

공개 보고권이 핵심이다.

"외부 검토자는 위험 수준, 사고, 관행, 그리고 자신이 받은 접근권과 받지 못한 접근권에 대한 주요 발견을 Anthropic의 편집 통제 없이 공표할 권리를 가져야 한다."

"받지 못한 접근권"까지 포함시킨 건 실질이 있다. 방해받으면 그 사실 자체를 공개할 수 있다. 삭제 가능 범위는 보안민감·법적특권·상업기밀·제3자 기밀로 한정하고 "불리하다는 이유만으로는 삭제할 수 없다"고 명시.

빠진 것 — 여기가 약점이다

원문은 누가 평가자를 선정하는지, 누가 비용을 대는지 명시하지 않는다. 기본값대로면 평가받는 기업이 평가자를 고르고 돈을 낸다. 신용평가사의 발행자 지불 모델(issuer-pays)과 같은 구조다 — 2008년에 무엇이 문제였는지 아는 구조. (비유는 원문에 없는 해석)

삭제 항목 중 "상업기밀"도 넓다. 프런티어 연구소에서 역량 관련 정보 중 상업기밀이 아닌 게 무엇인지 선을 긋기 어렵다.

Emad Mostaque의 지적 — 강제력이 평가자에게만 있는데 그 평가자는 설계상 정중히 무시당할 수 있다 — 이 정확히 이 두 공백을 가리킨다. 공개 보고권은 실질이 있지만, 선정권과 재정이 피평가자 손에 있으면 그 권리를 행사할 유인이 구조적으로 깎인다. 정부가 평가자를 지정하거나 비용을 부담하는 건 2단계 몫인데, 2단계엔 아무도 동의하지 않았다.

2단계 — 민주주의 국가 간 조정

정부 중재 하에 민주국가 AI 기업들이 공동 안전 기준을 수립. 핵심 장치는 "역량 체크포인트(capability checkpoints)" — 특정 성능 수준 도달 시 정렬 인증을 통과해야 다음 단계로 간다. 미국 연방 규제의 뒷받침을 상정.

3단계 — 전 지구적 조정

권위주의 국가까지 포함하되 난이도순으로:

수준	내용	난이도
1	생물무기 용도 금지	상대적으로 쉬움
2	배포 전 위험 평가 글로벌 표준	검증이 어려움
3	RSI 속도 제한 (SALT 군축조약 유사)	어렵지만 가능
4	전면적 개발 속도 제한	본인도 실현 가능성 낮다고 인정

주장하는 효과: 개발 중단 없이 안전 연구에 1~2년을 벌 수 있다.

의도 분석

표면 논리

추상적 위험론이 아니라 실제 사고에 대한 사후 대응이다. 이 부분은 액면 그대로 성립한다.

전략적 층위

표준 선점. 규제가 오기 전에 규제의 모양을 자기가 그린다. Anthropic이 이미 통과한 기준이 업계 기준이 되는 구조.
비대칭적으로 유리한 제동. 순수 컴퓨트·스케일 경쟁에서 Anthropic은 선두가 아니다. 판정 기준이 "얼마나 빨리"에서 "안전 인증을 통과했나"로 옮겨가면 판이 바뀐다. 뒤에 있는 쪽(xAI)이 브레이크에 동의하기 쉬운 것도 같은 이유.
동의의 비용이 낮았다. 올트먼이 실제로 수용한 건 1단계뿐이다. 역량 체크포인트(2단계)·RSI 속도 제한(3단계)에 대한 약속은 없다.

반대 증거 (선의 쪽)

아모데이는 2023년부터 같은 말을 해왔다. 컴퓨트 격차가 지금 모양이 되기 한참 전이다.
계기가 문서화된 실제 사고다.
1단계는 공짜가 아니다. 공개 보고 권한을 가진 외부 평가자를 사내 상주시키는 건 진짜 리스크다.

판정

배타적이지 않다. 진심으로 위험하다고 믿으면서, 동시에 그 믿음이 자기 포지션에 유리한 규칙을 낳는다는 것도 알고 있는 상태가 가장 그럴듯하다. 업계 규칙 제안이 대개 그렇다.

검증 지점: Anthropic이 RSI 속도 제한을 일방적으로 먼저 지키는가. 1단계처럼 선언하고 먼저 시행하면 진심 쪽 증거. 3단계로 미뤄둔 채 조약 협상만 말하면 — 구속력이 경쟁자에게만 생기는 제안이다.

쟁점 1 — "속도를 늦추면서 중국과 격차를 벌린다"는 게 가능한가

아모데이의 공식

민주주의 진영이 늦출 수 있는 폭 = 미국이 가진 리드의 크기

감속 자체가 격차를 벌리는 게 아니다. 감속은 격차를 까먹는 행위이고, 벌리는 일은 전적으로 수출통제·증류 차단이 담당한다. 리드를 안전 연구비로 환전하는 것이지, 리드와 안전을 동시에 얻는 게 아니다.

아모데이 본인도 CNBC 인터뷰에서 중국을 자기 제안의 "가장 어려운 딜레마(toughest dilemma)"라고 불렀다.

산수가 안 맞는다

Epoch Capabilities Index (2026년 9월)

모델	지수
GPT-6 Astra (OpenAI)	169
Claude Fable 5 (Anthropic)	163
Kimi K3 (Moonshot, 중국)	158

현재 추세 환산 시 미·중 격차 4~10개월. OpenRouter 주간 토큰 소비량은 2026년 2월에 중국 모델이 미국 모델을 추월, 중반엔 약 61%.

아모데이는 "3~5년 리드"를 목표로 잡고 1~2년을 안전에 쓰자고 한다. 실측 격차가 4~10개월이면 그의 자기 공식대로도 지출 불가능한 금액이다.

다만 — 실제 합의된 건 속도를 안 늦춘다

세 사람이 동의한 건 1단계(내장 평가자)뿐이고, 평가자를 사무실에 들이는 건 훈련 속도를 거의 깎지 않는다. 비평가들 표현: "늦추자고 말하면서 계속 달리는" 글. Emad Mostaque는 강제력이 평가자에게만 있는데 그 평가자는 설계상 정중히 무시당할 수 있다고 지적.

현 시점 정리: 중국에 실제로 넘어간 건 없다. 대신 실제로 늦춰진 것도 없다.

가장 날카로운 비판 — 규제 포획

상주 평가자·인증 체계는 자금과 인력이 있는 대기업엔 감당 가능하지만 신규 진입자에겐 진입장벽이다. 이 제안이 중국을 늦추진 못해도 미국 내 후발주자는 확실히 늦춘다. 수혜자 명단이 서명자 명단과 꽤 겹친다.

쟁점 2 — "컴퓨트 부족을 돌려 말한 것 아닌가" 가설 검증

거친 버전: 사실과 안 맞음

항목	수치
매출 런레이트	$30B (2025년 말 약 $9B → 3배+)
AWS (Project Rainier)	Trainium2 100만 칩+, 계약 수명 5GW / 10년 $1,000억+
Google·Broadcom	2026년 1GW+ 가동, 2026.04 확장으로 2027년부터 3.5GW 추가
Fluidstack	$500억 미국 인프라
추정 총량	2027년 말 7~8GW (vs OpenAI 2026년 말 약 3.7GW)

단기 용량만 보면 오히려 Anthropic이 앞선다. "바닥나서 돌려 말했다"는 읽기는 여기서 막힌다.

정교한 버전: 살아남음

OpenAI의 목표는 2030년 30GW, Stargate $5,000억. 자릿수가 다른 장기 베팅이다. 역량 지수도 이미 뒤진다(169 vs 163).

문제는 "지금 칩이 있나"가 아니라 "규모가 승부를 결정하는 게임이면 2028~2030년에 누가 이기나"다.

여기서 3단계의 RSI 속도 제한 조항이 눈에 띈다. RSI는 컴퓨트 규모가 복리로 증폭되는 유일한 메커니즘이다. 30GW가 3.7GW를 결정적으로 이기는 경로가 정확히 RSI다. 그걸 조약으로 묶자는 제안은, 의도했든 아니든 가장 큰 컴퓨트 보유자의 구조적 우위를 무력화한다.

쟁점 3 — 수출통제와 증류 금지의 실현 가능성

수출통제는 이미 하고 있다

2025년 1월 BIS "AI 확산 프레임워크(Framework for AI Diffusion)"가 발효돼 칩 클러스터와 비공개 모델 가중치(closed model weights)를 EAR 통제 대상에 포함. 아모데이가 요구하는 건 신설이 아니라 밀수 단속 강화다. 제안 중 가장 새로울 게 없는 항목.

증류 금지는 "금지"가 될 수 없다

이미 벌어진 일 — 2026년 2월 Anthropic 자체 보고서: DeepSeek·Moonshot AI·MiniMax가 Claude 상대로 산업 규모 증류 수행. 부정 계정 약 24,000개, 1,600만 건 이상의 대화 추출.

실제 조치는 계정 차단. 2026년 초 기준 DeepSeek 상대 소송은 제기되지 않았다.

법적 근거가 전부 약하다

법리	왜 안 되나
저작권	모델 출력의 저작물성 자체가 불확실
영업비밀	API로 고객에게 자발적으로 건넨 출력은 비밀이 아니다
CFAA (전산사기)	접근 권한은 있었고 약관만 위반 — 약관 위반 ≠ CFAA
수출통제	EAR이 통제하는 건 가중치지 생성된 토큰이 아니다
약관	계약 위반. 중국 법인 상대 관할권·집행력 없음

게다가 증류 자체는 불법이 아니고, 고발하는 연구소들 자신이 내부에서 일상적으로 쓰는 표준 기법이다.

"미국 내에서 증류하면?" — 그게 바로 그 24,000개 계정이다

Deemed export(간주수출) 법리는 이론상 걸린다. 통제 기술을 미국 내에서 외국인에게 넘겨도 국적국으로 수출한 것으로 간주해 라이선스를 요구하고, 클라우드·원격접속도 같은 문제를 일으킨다.

그러나 간주수출 대상은 가중치와 소스코드지 API 출력이 아니다. 모델을 넘기면 위반이지만, 모델에게 질문하고 답을 받는 건 제품을 쓴 것이다. 미국 내 법인·거주자 명의로 정상 결제해 API를 쓰면 수출통제로는 걸 고리가 없다.

남는 유일하게 강한 고리는 신원 위조다. 24,000개 부정 계정은 계약 위반이 아니라 사기이고, 전신사기(wire fraud) 구성과 미국 내 행위자에 대한 형사 관할이 붙는다. 즉 처벌 가능한 건 "증류했다"가 아니라 "누구인지 속이고 샀다"이다. 신원을 속이지 않으면 그마저 사라진다.

구조적 이유 — 초크포인트가 없다

칩 규제가 작동하는 건 물리적이고, 셀 수 있고, TSMC와 ASML이라는 병목이 있기 때문이다. 출력에는 그게 없다.

모델을 팔려면 출력을 노출해야 한다. 그 출력이 곧 학습 데이터다.

구멍 둘 더:

오픈웨이트. 가중치 공개 모델이 하나라도 있으면 증류 금지는 그 지점에서 무의미해진다.
방향이 뒤집혔다. 미국이 지금 논의 중인 건 중국 오픈웨이트 모델 규제다. 중국 모델이 이미 증류 대상이 됐다는 뜻이고, 지수 격차 4~10개월과 일치한다.

실제로 가능한 것 — 금지가 아니라 비용 부과

수단	효과
API KYC (BIS가 IaaS 사업자·해외 리셀러에 신원확인 의무)	프록시 비용 상승
쿼리 패턴 이상탐지	24,000개 계정을 찾아낸 방법. 사후 탐지지 예방 아님
추론 과정(CoT) 비노출	증류 효율을 크게 떨어뜨림. 효과가 실증된 유일한 기술적 방어
정부조달 차단 (H.R.1121 등)	미국 시장에서 밀어내는 효과. 증류는 못 막음

증류 금지는 3단계 계획 중 가장 약한 다리다. 수출통제가 물리적 병목 위에 서 있는 반면, 증류 차단은 계약과 탐지 위에 서 있고 둘 다 국경을 넘지 못한다.

정리

합의된 것은 1단계뿐이고, 1단계는 속도를 거의 깎지 않는다. "AI 속도 조절 합의"라는 헤드라인과 실제 구속력 사이의 간극이 크다.
아모데이 자신의 공식이 자신의 요구와 충돌한다. 감속 한도 = 리드 크기인데, 실측 리드는 4~10개월이고 요구는 1~2년이다.
격차 유지를 담당하는 두 기둥 중 하나(증류 차단)가 구조적으로 약하다. 초크포인트가 없는 대상은 통제가 아니라 비용 부과만 가능하다.
가장 확실한 효과는 미국 내 후발주자에 대한 진입장벽이다. 지정학보다 산업구조 쪽 함의가 크다.

투자 관점 함의

RSI 속도 제한이 실제 규범이 되는가가 분기점. 되면 컴퓨트 규모 우위(OpenAI·Google)의 가치가 깎이고 정렬 역량이 차별화 축이 된다. 안 되면 스케일 경쟁이 그대로 간다.
다만 [[LLM 정렬(Alignment)]] 노트의 결론과 동일하게, 어느 쪽이든 컴퓨팅 수요는 줄지 않는다. 정렬도 GPU/TPU를 먹는다. 반도체 수요 관점에서 이 논쟁은 중립에 가깝다.
수출통제 강화 기조는 유지·강화 방향이다. 중국 익스포저가 큰 반도체 장비·칩 기업엔 지속적 하방 요인.
미국 내 인증·평가 체계가 제도화되면 규제 대응 비용을 감당할 수 있는 대형 사업자로 집중된다. AI 스타트업 대비 빅테크에 유리.

출처

원문·주요 보도

OpenAI–Hugging Face 사건

비판·분석

컴퓨트

수출통제·증류