АИ је управо прошао најтежи тест математике до сада. Резултати су помешани
Стручњаци су дали АИ 10 математичких задатака за решавање за недељу дана. ОпенАИ, истраживачи и аматери су дали све од себе
Привремена архива / сарадник преко Гетти Имагес
Пресуда је, изгледа, у: вештачка интелигенција неће заменити математичаре.
То је непосредан закључак из изазова „Први доказ“—можда најснажнији тест до сада способности великих језичких модела (ЛЛМ) да изводе математичка истраживања. Постављени од стране 11 врхунских математичара 5. фебруара, резултати теста објављени су рано ујутру на Дан заљубљених. Прерано је да се коначно каже колико је од 10 математичких проблема који су били укључени у изазов АИ решио без људске помоћи. Али једно је јасно: ниједан од ЛЛМ-ова није био ни близу да их све реши.
Математичари који стоје иза Првог доказа представили су АИ 10 „лема“ — математички термин за мање теореме које утиру пут ка већем резултату. Ови проблеми су залихе математичара који раде, врста мини проблема који се може предати талентованом дипломираном студенту. Математичари су тежили проблемима који би захтевали извесну оригиналност за решавање, а не само мешавину стандардних техника, каже Мохаммед Абоузаид, професор математике на Универзитету Станфорд и члан тима за први доказ.
О подршци научном новинарству
Ако уживате у овом чланку, размислите о томе да подржите наше награђивано новинарство претплата. Куповином претплате помажете да се обезбеди будућност упечатљивих прича о открићима и идејама које данас обликују наш свет.
Изазов, иако наглашава ограничења АИ, такође истиче субкултуру ентузијаста АИ у заједници у математици. Мрежне дискусионе табле и налози на друштвеним мрежама посвећени математици били су преплављени наводним доказима врхунских математичара и лажних студената. И то је подвукло колико озбиљно АИ стартапи, укључујући ОпенАИ произвођача ЦхатГПТ, прихватају изазов учења ЛЛМ-а да ради математику.
„Нисмо очекивали да ће бити оволико активности“, каже Абузаид. „Нисмо очекивали да ће компаније АИ то схватити овако озбиљно и уложити оволико труда у то.
Тим Фирст Прооф открио је решења за 10 изазова рано у суботу, и објављено о сопственим искуствима покушавајући да натерају ЛЛМ да реше проблеме. Открили су да вештачка интелигенција може да изнесе поуздане доказе за сваки проблем, али само два су била тачна — они за девети и 10. проблем. И показало се да доказ који је био скоро идентичан деветом проблему већ постоји. Први проблем је такође био „контаминиран“ – скица доказа је архивирана са веб странице његовог аутора, члана тима и добитника Филдсове медаље из 2014. Мартина Хаирера – али ЛЛМ и даље нису успели да попуне празнине.
Стил доказа који су ЛЛМ смислили је био посебно изненађујући, каже Абоузаид. „Права решења која сам видео у системима вештачке интелигенције, имају укус математике из 19. века“, каже он. „Али ми покушавамо да изградимо математику 21. века.“
Чинило се да спољни поднесци нису прошли много боље. Чинило се да су неки поднесци користили различите степене људског доприноса, а неколико је наизглед резултат једнонедељних дијалога које су проверавали математичари. Важно је да Правила првог доказа онемогућити људски математички унос или подстицање.
„Када су људи укључени, како да проценимо колико је људско, а колико вештачка интелигенција?“ каже Лаурен Виллиамс, Двајт Паркер Робинсон, професор математике на Универзитету Харвард и један од математичара који су поставили Први доказ.
ОпенАИ је објавио свој рад у суботу, резултат једнонедељног спринта користећи своје најновије интерне АИ моделе који раде са „повратним информацијама стручњака“ људских математичара. Главни научник компаније Јакуб Пацхоцки рекао је у а објава на друштвеним мрежама да верују да шест од њихових десет решења „има велике шансе да буду тачна“. Математичари су већ указали на потенцијалне рупе у барем једној од тих шест.
Осим колико су људске помоћи имали АИ, чини се да је огромна већина поднесака много веома убедљивих бесмислица. Пре него што се изазов уопште завршио, стручњаци су већ довели у питање бројна наводна решења која су се у почетку чинила веродостојним.
За поднеске ће бити потребни дани да стручњаци прописно провјере. А проценити да ли је доказ заиста „оригинални“ чак је теже него проценити да ли је тачан. „Ништа у математици није потпуно без преседана“, каже Данијел Лит, математичар са Универзитета у Торонту, који није био део тима за први доказ.
„О овоме размишљамо као о експерименту. Наш циљ је био да добијемо повратне информације“, каже Абузаид. Тим пише да планира другу рунду са строжим контролама и да ће више детаља бити објављено 14. марта.
За неке математичаре који прате напредак вештачке интелигенције, млаки резултати одговарају њиховим очекивањима. „Очекивао сам можда два до три недвосмислено исправна решења од јавно доступних модела“, каже Литт. „Десет би ме било веома изненађујуће.“
Ипак, чак и добијање неколико валидних решења за проблеме на нивоу истраживања од АИ би вероватно било немогуће пре само неколико месеци. „Већ сам чуо од колега да су у шоку“, каже Скот Армстронг, математичар са Универзитета Сорбона у Француској. „Ови алати долазе да промене математику, и то се дешава сада.
Али за друге који помно прате достигнућа АИ, ово није била сјајна представа.
„Изгледа да су се модели мучили“, каже Кевин Барето, студент додипломских студија на Универзитету у Кембриџу, који није био део тима Фирст Прооф. Недавно је користио вештачку интелигенцију да реши један од Ердових проблема, бројних изазова које је поставио мађарски математичар Паул Ердс. „Да будем искрен, да, помало сам разочаран.“
Време је да се заузмемо за науку
Ако вам се допао овај чланак, замолио бих вас за подршку. Сциентифиц Америцан служио је као заговорник науке и индустрије 180 година, а управо сада је можда најкритичнији тренутак у тој двовековној историји.
Био сам а Сциентифиц Америцан претплатник од моје 12 година, и то је помогло у обликовању начина на који гледам на свет. СциАм увек ме образује и одушевљава, и изазива осећај страхопоштовања према нашем огромном, предивном универзуму. Надам се да ће то учинити и за вас.
Ако ти претплатите се на Сциентифиц Америцанпомажете да осигурамо да је наша покривеност усредсређена на смислена истраживања и открића; да имамо ресурсе да извештавамо о одлукама које прете лабораторијама широм САД; и да подржавамо и надобудне и запослене научнике у време када вредност саме науке пречесто остаје непризната.
Заузврат, добијате важне вести, задивљујући подкасти, бриљантна инфографика, не смете пропустити билтене, видео снимке које морате погледати, изазовне игре и најбоље писање и извештавање у свету науке. Можете чак поклонити некоме претплату.
Никада није било важнијег тренутка да устанемо и покажемо зашто је наука важна. Надам се да ћете нас подржати у тој мисији.
