GPT-6 아스트라, 어떤 시험은 99.9% — 그런데 종합 지능은 4위였다
ARC-AGI-3 99.9% · Agents' Last Exam 59.3% · 종합 지능 지수 61.2로 4위
2026년 9월 3일, OpenAI가 GPT-6 아스트라(Astra)를 공개했다. «컴퓨터 사용과 브라우징, 소프트웨어 공학에서 최고 성적»이라고 밝혔다.
발표 자료의 숫자만 놓고 보면 압도적이다. 다만 독립 평가 기관의 종합 지능 지수에서는 4위였다. 어느 쪽도 틀린 말이 아니다. 무엇을 재느냐에 따라 답이 달라지는 것이고, 그게 지금 AI 모델을 읽는 방법이다. (2026년 9월 7일 기준)
1. 사실상 만점이 나온 시험
| 모델 | ARC-AGI-3 |
|---|---|
| GPT-6 Astra | 99.9% |
| Claude Opus 5 | 30.2% |
| GPT-5.6 Sol | 7.8% |
※ 자료: OpenAI 발표(2026년 9월 3일) 표 기준.
99.9%는 시험이 「포화(saturate)」됐다는 뜻이다. 더 재봐야 변별이 안 된다.
주목할 건 격차다. 직전 자사 모델(Sol)이 7.8%였다. 한 세대 만에 7.8% → 99.9%다. 이 정도 도약은 보통 «모델이 좋아졌다»보다 «이 시험이 요구하던 능력의 벽이 무너졌다»에 가깝다.
참고로 앞서 다룬 AGI 예측 글에서 ARC 계열 시험이 AGI 판단 근거로 자주 인용된다고 적었다. 그 시험 하나가 이렇게 넘어갔다.
2. 에이전트 시험은 3.8%p 차이
| 모델 | Agents' Last Exam |
|---|---|
| GPT-6 Astra | 59.3% |
| Claude Opus 5 | 55.5% |
| GPT-5.6 Sol | 53.6% |
※ 자료: OpenAI 발표.
여기서는 3.8%p 차이다. ARC-AGI-3의 69.7%p 격차와 완전히 다르다.
같은 발표에 실린 두 시험의 격차가 18배 차이 난다. 어느 숫자를 인용하느냐로 인상이 완전히 달라진다는 뜻이다.
3. 터미널 작업에서도 앞섰다
| 모델 | Terminal Bench 4.0 |
|---|---|
| GPT-6 Astra | 57.7% |
| Claude Fable 5.1 | 55.8% |
| GPT-5.6 Sol | 37.3% |
| Gemini 3.8 Flash | 19.1% |
※ 자료: OpenAI 발표.
터미널 벤치는 명령줄에서 실제 작업을 끝내는지를 본다. 1위와 2위 차이는 1.9%p로 근소하다.
자주 묻는 질문
Q. 아스트라는 뭐가 다른가? A. 컴퓨터를 사람처럼 직접 조작하는 데 초점을 뒀다. 웹 브라우저를 열고, 클릭하고, 여러 단계로 이어지는 업무를 스스로 끝내는 능력이다.
Q. ARC-AGI가 뭔가? A. 학습한 적 없는 새로운 규칙을 추론으로 알아내는지 보는 시험이다. 사람은 쉽게 푸는데 AI는 못 풀어서 「AGI 판단 기준」으로 자주 인용됐다.
Q. 99.9%면 AGI인가? A. 아니다. 시험 하나를 통과한 것이다. ARC 제작자들도 이 시험 통과가 AGI를 뜻하지 않는다고 밝혀 왔다. 실제로 같은 모델이 종합 지능 지수에서는 4위다.
Q. OSWorld 2.0은? A. 실제 운영체제 환경에서 작업을 끝내는지 보는 시험이다. 아스트라는 72.6%를 기록했고, 직전 모델보다 약 47% 빠르게 끝냈다고 밝혔다.
Q. 얼마인가? A. API 기준 입력 100만 토큰당 10달러, 출력 50달러다.
4. 그런데 종합 지능 지수는 4위였다
여기가 이 글의 요점이다.
| 모델 | 종합 지능 지수 |
|---|---|
| Claude Fable 5.1 | 65.7 |
| Claude Opus 5 | 63.1 |
| Claude Fable 5 | 62.1 |
| GPT-6 Astra | 61.2 |
※ 자료: Artificial Analysis Intelligence Index v4.1.1. 독립 평가 기관의 종합 지수.
자사 발표에서는 1위, 독립 종합 지수에서는 4위다. 둘 다 사실이다.
이유는 단순하다. 아스트라는 「에이전트·컴퓨터 조작·수학」에 집중해 만들어진 모델이고, 종합 지능 지수는 그 밖의 능력까지 함께 평균 낸다. 한 분야를 크게 올리면서 다른 분야는 거의 그대로였다는 뜻이다.
평가 기관의 요약이 정확하다. «에이전트·컴퓨터 사용·사이버·수학에서는 세대교체가 진짜지만, 일반 지능에서는 거의 평평하다.»
5. 이 모델이 잘하는 것
| 시험 | 점수 |
|---|---|
| FrontierMath Tier 4 | 98.0% |
| OSWorld 2.0 | 72.6% |
※ 자료: OpenAI 발표.
FrontierMath Tier 4는 최상위 난도 수학 문제다. 98%는 사실상 다 푼 것이다.
두 시험이 가리키는 방향은 같다. 정답이 명확하고, 절차를 밟아 검증할 수 있는 일에서 강하다는 것이다.
6. 가격
| 100만 토큰당 | |
|---|---|
| 입력 | 10달러 |
| 출력 | 50달러 |
※ 자료: OpenAI.
출력이 입력의 5배다. 이 구조는 사용 방식에 영향을 준다 — 긴 문서를 넣고 짧게 답하게 하는 쪽이 싸고, 길게 쓰게 하는 쪽이 비싸다.
7. 정리 — 이 숫자들을 어떻게 읽나
| 무엇이 | 숫자 | 순위 |
|---|---|---|
| ARC-AGI-3 | 99.9% | 1위 (2위와 69.7%p) |
| Agents' Last Exam | 59.3% | 1위 (2위와 3.8%p) |
| Terminal Bench 4.0 | 57.7% | 1위 (2위와 1.9%p) |
| FrontierMath Tier 4 | 98.0% | — |
| OSWorld 2.0 | 72.6% | — |
| 종합 지능 지수 | 61.2 | 4위 |
「최고 성능」이라는 말은 이제 어느 시험에서인지를 묻지 않으면 의미가 없다. 같은 모델이 한 시험에서 69.7%p 차로 1위이고, 다른 지수에서는 4위다.
실무에서 판단하는 방법은 하나다. 자기가 시킬 일과 가장 비슷한 시험을 보는 것이다.
- 컴퓨터를 조작하고 여러 단계를 스스로 밟는 일 → 아스트라가 유리하다
- 글을 쓰고 판단하고 대화하는 일 → 종합 지수를 봐야 하고, 여기서는 다른 모델들이 앞선다
앞으로 볼 것 셋. ①ARC-AGI-3이 포화됐으니 다음 시험이 나오느냐. 99.9%가 나온 시험은 더 이상 변별력이 없다. ②종합 지능 지수가 따라 오르느냐. 지금은 특화로 앞선 것이라, 전반이 함께 오르는지가 다음 세대의 관건이다. ③가격이 내려가느냐. 출력 50달러는 에이전트처럼 길게 돌리는 작업에서 비용이 빠르게 쌓인다.
벤치마크 1위는 마케팅에 쓰이고, 종합 지수는 잘 인용되지 않는다. 둘을 같이 봐야 그 모델이 실제로 무엇인지 보인다.
출처
- OpenAI, GPT-6 Astra 발표(2026년 9월 3일) — ARC-AGI-3 99.9%(Claude Opus 5 30.2%, GPT-5.6 Sol 7.8%), Agents' Last Exam 59.3%(Opus 5 55.5%, Sol 53.6%), Terminal Bench 4.0 57.7%(Claude Fable 5.1 55.8%, Sol 37.3%, Gemini 3.8 Flash 19.1%), OSWorld 2.0 72.6%, FrontierMath Tier 4 98%. OSWorld 작업을 GPT-5.6 Sol 대비 약 47% 빠르게 완료
- OpenAI — API 가격 입력 100만 토큰당 10달러, 출력 50달러
- Artificial Analysis Intelligence Index v4.1.1 — GPT-6 Astra 61.2, Claude Fable 5.1 65.7, Claude Opus 5 63.1, Claude Fable 5 62.1. «에이전트·컴퓨터 사용·사이버·수학에서는 세대교체가 진짜지만 일반 지능에서는 거의 평평하다»
- 벤치마크 점수는 측정 시점·설정에 따라 달라질 수 있으며, 자사 발표 수치와 독립 기관 수치는 기준이 다르다
