평면 위에 점을 찍으면 몇 쌍이나 정확히 같은 거리를 가질 수 있을까요? 이 단순해 보이는 질문이 78년 동안 수학자들을 괴롭혀 왔는데, OpenAI의 추론 모델이 그 답을 바꿔놓았습니다.
저도 처음 이 뉴스를 접했을 때 제목을 두 번 읽었습니다. 'AI가 수학 미해결 문제를 스스로 풀었다' — 과장된 홍보 문구처럼 들렸거든요. 그런데 필즈 메달리스트 팀 가워스가 직접 논문에 "AI 수학의 마일스톤"이라고 썼고, 프린스턴 수학과 교수가 검증에 참여했다는 사실을 확인하고 나서 생각이 완전히 바뀌었습니다. 이건 단순한 연산 능력이 아니라 진짜 '독창적 아이디어'의 영역입니다.
1946년, 헝가리 수학자 폴 에르되시(Paul Erdős)는 아주 간단해 보이는 질문을 던졌습니다. 평면 위에 n개의 점을 놓을 때, 정확히 거리 1인 점 쌍은 최대 몇 쌍이나 만들 수 있을까요?
이걸 '단위거리 문제(Unit Distance Problem)'라고 부릅니다. 문제 자체는 중학생도 이해할 수 있을 정도로 명확하죠. 2005년에 출판된 이산기하학 연구 교과서 Research Problems in Discrete Geometry는 이 문제를 두고 "조합기하학에서 가장 잘 알려지고 가장 설명하기 쉬운 문제"라고 표현했습니다. 프린스턴대의 저명한 조합론 학자 노가 알론도 "에르되시가 가장 아끼던 문제 중 하나"라고 말했고요. 에르되시는 이 문제를 푸는 사람에게 현금 상금까지 걸었습니다.
얼핏 쉬워 보이지만, 이 성장률을 정확히 결정하는 것은 극도로 어렵습니다. 직선 위에 점을 놓으면 n−1쌍을 얻고, 정사각 격자(square grid)를 쓰면 약 n^(1 + c/log log n)쌍을 얻습니다. 수십 년간 수학자들은 이 정사각 격자 구성이 사실상 최선이라고 믿어왔습니다.
에르되시가 문제를 제기한 1946년 이후, 연구는 상한과 하한 두 방향에서 동시에 진행됐습니다. 그런데 흥미롭게도 두 경계 모두 수십 년째 거의 제자리였습니다.
| 구분 | 결과 | 출처 / 연도 |
|---|---|---|
| 하한 (최적 구성) | n^(1 + c/log log n) 쌍 — 정사각 격자 | Erdős, 1946 |
| 상한 (최대 가능) | O(n^(4/3)) | Spencer·Szemerédi·Trotter, 1984 |
| 에르되시 추측 | 상한은 n^(1+ε) 형태 (ε→0) | Erdős (오랜 믿음) |
| 새 하한 (AI 증명) | n^(1+δ), 고정 지수 δ>0 존재 | OpenAI 모델 (2025) |
상한 O(n^(4/3))는 1984년 이후 Székely, Katz-Silier, Pach, Raz, Solymosi 등 많은 수학자들이 개선을 시도했지만 본질적으로 바뀌지 않았습니다. 하한 역시 에르되시의 원래 구성에서 크게 나아가지 못했죠. 마토우세크와 알론-부치치-사우어만은 비유클리드 거리에서 이 추측이 "대부분" 성립함을 보여, 오히려 추측을 지지하는 증거를 쌓아가고 있었습니다.
수십 년간 이 문제의 답은 정사각 격자를 크게 넘어설 수 없다는 것이 수학계의 상식이었습니다. AI는 바로 그 상식을 뒤집었습니다.
OpenAI의 새 범용 추론 모델은 기하학 문제에 특화된 시스템이 아닙니다. 수학 증명 전략을 탐색하도록 별도로 훈련되거나, 단위거리 문제만을 겨냥한 모델도 아니었습니다. 에르되시 문제들을 프런티어 연구 테스트베드로 평가하는 광범위한 실험의 일환으로 투입된 범용 추론 모델이었죠.
그 모델이 찾아낸 증명의 핵심 재료는 놀랍게도 대수적 정수론(algebraic number theory)에서 왔습니다. 기하학 문제에 정수론이라니, 이게 바로 이 증명이 충격적인 이유입니다.
증명의 결론은 이렇습니다. 무한히 많은 n 값에 대해, 고정된 지수 δ>0이 존재하여 n^(1+δ)개 이상의 단위거리 쌍을 갖는 점 배열을 구성할 수 있습니다. 이는 에르되시의 추측(ε→0)을 완전히 반증합니다. 프린스턴 수학과 윌 사윈 교수의 후속 연구에 따르면 δ값을 명시적으로 지정하는 것도 가능합니다.
저는 이 뉴스를 읽으면서 두 가지 포인트에서 소름이 돋았습니다. 첫째는 문제의 역사적 무게감이고, 둘째는 증명 방법의 의외성입니다.
골로드-샤파레비치 이론은 대수적 정수론에서는 잘 알려진 도구입니다. 그런데 수학자들은 수십 년간 이 도구가 유클리드 평면의 기하학 문제에 적용될 수 있다는 사실을 상상조차 하지 않았습니다. AI가 이 연결고리를 발견했다는 것은, 단순한 계산 능력을 넘어 전혀 다른 분야 사이의 다리를 놓는 능력을 보여준 겁니다.
수학은 AI 추론 능력의 가장 명확한 테스트베드입니다. 문제가 정밀하고, 증명은 검증 가능하며, 긴 논증은 처음부터 끝까지 논리가 맞아야만 작동하기 때문입니다.
수석 정수론 학자 아룰 샹카르는 이렇게 평가했습니다. "이 논문은 현재 AI 모델이 인간 수학자의 단순한 조력자를 넘어섰음을 보여준다. AI는 독창적이고 뛰어난 아이디어를 가질 수 있고, 그것을 실제로 완성시킬 수 있다."
증명은 외부 수학자 그룹의 검증을 통과했고, 이들은 결과의 중요성과 맥락을 설명하는 동반 논문도 작성했습니다. 필즈 메달리스트 팀 가워스는 그 논문에서 이 결과를 "AI 수학의 마일스톤"이라고 표현했습니다. 그는 이 증명을 망설임 없이 《수학 연보(Annals of Mathematics)》에 게재하겠다고 밝혔는데, AI가 생성한 수학적 결과로는 사실상 처음 있는 일입니다.
검증에 참여한 수학자들로는 프린스턴의 노가 알론, 브리스틀대의 토마스 블룸, 위스콘신-매디슨의 멜라니 우드가 있습니다. 특히 에르되시 문제 웹사이트를 운영하는 토마스 블룸은 이전에 AI 모델이 기존에 출판된 결과를 '재발견'하는 데 그쳤다고 비판했던 인물입니다. 그가 이번 결과의 동반 논문 작성에 직접 참여했다는 사실 자체가 이 증명의 신뢰도를 방증합니다.
이번 성과에서 가장 주목해야 할 것은 '무엇을 풀었느냐'가 아니라 '어떻게 풀었느냐'입니다. AI가 순수 기하학 문제를 대수적 정수론의 언어로 번역해 해결했다는 것은, 인간이 구획 지어 온 학문 분야 사이의 벽을 AI가 자유롭게 넘나들 수 있음을 보여줍니다.
수학자들은 이 기법이 다른 이산기하학 문제들에도 적용될 수 있는지 검토하기 시작했습니다. 골로드-샤파레비치 이론이 단위거리 문제에 적용됐다면, 평면 그래프 이론이나 조합론의 다른 미해결 문제들에도 유사한 연결고리가 숨어 있을 가능성이 생겼기 때문입니다.
물론 현실적인 시각도 필요합니다. 이번 모델은 특정 문제에 집중된 환경에서 작동했고, 수학적 결과의 정합성은 검증됐지만 AI가 '왜 이 방향을 선택했는지'에 대한 해석 가능성은 아직 열린 과제입니다. AI가 수학 연구의 진정한 파트너로 자리잡기까지는 반증 절차, 재현 가능성, 새로운 아이디어의 출처 투명성 등 해결해야 할 문제들이 남아 있습니다.
그럼에도 불구하고, 팀 가워스가 《수학 연보》 기준으로 통과시키겠다고 한 증명이 AI에서 나왔다는 사실은 변하지 않습니다. 80년의 미해결 문제가 기하학과 전혀 무관해 보이던 정수론의 도구로 풀린 이 순간은, 앞으로 AI가 과학 연구에서 어떤 역할을 할 수 있는지에 대한 기대치를 완전히 다시 쓰게 만들었습니다.