A GPT-6-Astra 50-ből 49 elméleti fizikai feladatot oldott meg
A GPT-6-Astra 49-et oldott meg a TheoPhysEval 50, korábban nem publikált elméleti fizikafeladata közül, emberi segítség nélkül. A tesztet az International Centre for Theoretical Sciences, a Harvard University, a KU Leuven és a Google DeepMind kutatói állították össze tizenegy részterület, köztük a részecskefizika, a kozmológia, a folyadékáramlások és a biológiai folyamatok példáiból. A feladatok nem új, nyitott tudományos kérdések voltak, hanem ismert módszerek alkalmazását igénylő, úgynevezett „turn-the-crank” számítások. Ilyen munkát gyakran doktoranduszokra bíznak, egy vezető szakértőnek pedig jellemzően legfeljebb egy napra lett volna szüksége.
A GPT-6-Astra a teljes benchmarkot átlagosan feladatonként kevesebb mint 3 dollárból, összesen alig 116 dollárból teljesítette. Az internetes keresés meglepően keveset számított: az Astra és az Anthropic Opus 5.5 nélküle is 92 százalékot ért el, ami arra utalhat, hogy a vezető modellek nagy mennyiségű fizikatudományos szakirodalmat már megtanultak. Az Opus 5.5 végül 92, a Gemini 3.8 Flash 68, a DeepSeek-V4.1-Flash 54, a GLM 5.3 pedig 42 százalékot ért el.
A kutatók szerint azonban ez még nem jelentett fizikai áttörést. A modellek jól alkalmazzák a meglévő eljárásokat, de hiányzik belőlük az a „jó ízlés”, amely segíthet kiválasztani az igazán termékeny kutatási irányokat. Több esetben ráadásul a szakértői referencia-megoldásokról derült ki, hogy hibásak voltak; ezek javítása után az Astra minden ilyen feladatot helyesen oldott meg.