ОпенАИ у четвртак покренут ГПТ-5.3-Цодек-Спаркскраћени модел кодирања дизајниран за скоро тренутна времена одзива, означавајући прво значајно партнерство компаније у закључивању изван њене традиционалне инфраструктуре којом доминира Нвидиа. Модел ради на хардверу од Церебрас Системспроизвођач чипова са седиштем у Суннивалеу чији су процесори величине плочице специјализовани за радна оптерећења вештачке интелигенције са малим кашњењем.
Партнерство долази у кључном тренутку за ОпенАИ. Компанија се налази у навигацији а похабан однос са дугогодишњим добављачем чипова Нвидиа, све веће критике због своје одлуке да уведе рекламе у ЦхатГПТ, недавно објављено Пентагон уговори унутрашњи организациони преокрет који је доживео а тим који је фокусиран на безбедност распуштен а најмање један истраживач поднети оставку у знак протеста.
"ГПУ-ови остају основни у нашим цевоводима за обуку и закључивање и испоручују најекономичније токене за широку употребу," портпарол ОпенАИ рекао је за ВентуреБеат. "Церебрас допуњује ту основу тако што се истиче у токовима посла који захтевају изузетно мало кашњење, заоштравајући петљу од краја до краја, тако да случајеви коришћења као што је кодирање у реалном времену у Цодек-у осећају боље одзив док понављате."
Пажљиво кадрирање — наглашавајући да ГПУ-ови "остати темељни" док церебрас позиционира као а "допуњују" — наглашава деликатну равнотежу коју ОпенАИ мора постићи док диверзификује своје добављаче чипова без отуђења Нвидиадоминантна сила у АИ акцелераторима.
Повећање брзине долази са компромисима у погледу могућности за које ОпенАИ каже да ће програмери прихватити
Цодек-Спарк представља први ОпенАИ модел наменски направљен за сарадњу кодирања у реалном времену. Компанија тврди да модел испоручује брзине генерације 15 пута брже од свог претходника, иако је одбио да пружи специфичне метрике кашњења као што су време до првог токена или број токена у секунди.
"Нисмо у могућности да делимо одређене бројеве кашњења, међутим Цодек-Спарк је оптимизован да се осећа скоро тренутно—испоручујући 15к веће брзине генерисања, док остаје веома способан за задатке кодирања у стварном свету," рекао је портпарол ОпенАИ.
Повећање брзине долази са признатим компромисима у погледу способности. Он СВЕ-Бенцх Про и Терминал-Бенцх 2.0 — два стандарда у индустрији која процењују способност АИ система да самостално обављају сложене задатке софтверског инжењеринга — Цодек-Спарк не успева у потпуности ГПТ-5.3-Цодек модел. ОпенАИ ово позиционира као прихватљиву размену: програмери добијају одговоре довољно брзо да одрже креативни ток, чак и ако основни модел не може да се ухвати у коштац са најсофистициранијим изазовима програмирања у више корака.
Модел се покреће са контекстним прозором од 128.000 токена и подржава само текст — без слика или мултимодалних уноса. ОпенАИ га је учинио доступним као преглед истраживања ЦхатГПТ Про претплатника преко Цодек апликације, интерфејса командне линије и проширења Висуал Студио Цоде. Мала група пословних партнера ће добити АПИ приступ за процену могућности интеграције.
"Ми правимо Цодек-Спарк доступно у АПИ-ју за мали скуп дизајнерских партнера да би разумели како програмери желе да интегришу Цодек-Спарк у своје производе," објаснио је портпарол. "Проширићемо приступ у наредним недељама док настављамо да прилагођавамо нашу интеграцију под стварним радним оптерећењима."
Церебрас хардвер елиминише уска грла која муче традиционалне ГПУ кластере
Техничка архитектура иза Цодек-Спарк прича причу о економији закључивања која је све важнија како компаније са вештачком интелигенцијом повећавају производе намењене потрошачима. Церебрас’с Машина за вафле 3 — један чип отприлике величине тањира који садржи 4 трилиона транзистора — елиминише већи део комуникационих трошкова који настају када се радна оптерећења АИ рашире на кластере мањих процесора.
За обуку масивних модела, тај дистрибуирани приступ је и даље неопходан и Нвидијини ГПУ-ови су одлични у томе. Али за закључивање – процес генерисања одговора на упите корисника – Церебрас тврди да његова архитектура може дати резултате са драматично мањим кашњењем. Шон Ли, ЦТО и суоснивач Церебраса, представио је партнерство као прилику да се преобликује начин на који програмери комуницирају са системима вештачке интелигенције.
"Оно што нас највише узбуђује у вези са ГПТ-5.3-Цодек-Спарк је партнерство са ОпенАИ-ом и заједницом програмера да откријемо шта брзо закључивање омогућава – нови обрасци интеракције, нови случајеви коришћења и фундаментално другачије искуство модела," Лаж је речено у саопштењу. "Овај преглед је само почетак."
ОпенАИ-јев инфраструктурни тим није ограничио свој рад на оптимизацији на Церебрас хардвер. Компанија је најавила побољшања кашњења у свом читавом стеку закључивања која имају користи за све Цодек моделе без обзира на основни хардвер, укључујући трајни ВебСоцкет везе и оптимизације у оквиру Респонсес АПИ. Резултати: смањење трошкова за 80 процената по повратном путу клијент-сервер, смањење трошкова по токену за 30 процената и смањење времена до првог токена за 50 процената.
Нвидиа мегадоговор вредан 100 милијарди долара тихо се распао иза кулиса
Церебрас партнерство поприма додатни значај с обзиром на све компликованији однос између ОпенАИ и Нвидиа. Прошле јесени, када је ОпенАИ најавио свој Звездана капија инфраструктурна иницијатива, којој се Нвидиа јавно обавезала улажући 100 милијарди долара да подржи ОпенАИ јер је изградио АИ инфраструктуру. Чинило се да ова објава учвршћује стратешки савез између највредније светске компаније са вештачком интелигенцијом и њеног доминантног добављача чипова.
Пет месеци касније, тај мегадоговор је практично застао, наводи вишеструко извештаји. Извршни директор Нвидије Јенсен Хуанг јавно је демантовао тензије, рекавши новинарима крајем јануара да постоји "нема драме" и да Нвидиа остаје посвећена учешћу у тренутној рунди финансирања ОпенАИ-а. Али однос се знатно охладио, са трењем које потиче из више извора.
ОпенАИ је агресивно тежио партнерству са алтернативним добављачима чипова, укључујући Церебрас договора и посебних споразума са АМД и Броадцом. Из Нвидијине перспективе, ОпенАИ можда користи свој утицај како би комодитизовао сам хардвер који је омогућио пробој АИ. Из перспективе ОпенАИ-а, смањење зависности од једног добављача представља разумну пословну стратегију.
"Наставићемо да радимо са екосистемом на континуираној процени чипова са најповољнијим ценама у свим случајевима употребе," Портпарол ОпенАИ-а је рекао за ВентуреБеат. "ГПУ-ови остају наш приоритет за случајеве коришћења који су осетљиви на трошкове и пропусну моћ у оквиру истраживања и закључивања." Изјава се чита као пажљив напор да се избегне антагонизација Нвидије уз очување флексибилности – и одражава ширу стварност да обука граничних АИ модела и даље захтева управо ону врсту масовне паралелне обраде коју пружају Нвидиа ГПУ-ови.
Распуштени безбедносни тимови и одласци истраживача постављају питања о приоритетима ОпенАИ
Тхе Цодек-Спарк Лансирање долази када се ОпенАИ креће кроз низ интерних изазова који су појачали испитивање правца и вредности компаније. Раније ове недеље појавили су се извештаји да је ОпенАИ распустио свој тим за усклађивање мисијегрупа основана у септембру 2024. да промовише наведени циљ компаније да обезбеди да вештачка општа интелигенција користи човечанству. Седам чланова тима је распоређено на друге улоге, а вођа Јосхуа Ацхиам добио је нову титулу као ОпенАИ-јев "главни футурист."
ОпенАИ раније распустио другу групу за безбедносттим за суперпоравнање, 2024. Тај тим се концентрисао на дугорочне егзистенцијалне ризике од вештачке интелигенције. Образац распуштања тимова оријентисаних на безбедност изазвао је критике од стране истраживача који тврде да комерцијални притисци ОпенАИ-а превазилазе његову првобитну непрофитну мисију.
Компанија се такође суочава са последицама своје одлуке да уведе рекламе у ЦхатГПТ. истраживач Зое Хитзиг је ове недеље поднела оставку преко онога што је описала као "клизава падина" АИ подржане огласима, упозоравајући у есеју Нев Иорк Тимес-а да ЦхатГПТ-ова архива интимних корисничких разговора ствара прилике без преседана за манипулацију. Антропик се ухватио у полемику са а Супер Бовл рекламна кампања са слоганом: "Огласи долазе у АИ. Али не за Клода."
Одвојено, компанија пристао да обезбеди ЦхатГПТ Пентагону кроз Генаи.милнови програм Министарства одбране који захтева дозволу ОпенАИ "све законите употребе" без ограничења наметнутих компанијама — термина које је Антхропиц наводно одбацио. Појавили су се и извештаји да је Рајан Бајермајстер, потпредседник ОпенАИ за политику производа који је изразио забринутост због планиране функције експлицитног садржаја, прекинут у јануару након оптужбе за дискриминацију коју она пориче.
ОпенАИ предвиђа помоћнике за АИ кодирање који жонглирају брзим изменама и сложеним аутономним задацима
Упркос околним турбуленцијама, ОпенАИ-јева техничка мапа пута за Цодек сугерише амбициозне планове. Компанија предвиђа помоћника за кодирање који неприметно комбинује брзо интерактивно уређивање са дуготрајнијим аутономним задацима — вештачку интелигенцију која се бави брзим поправкама док истовремено оркестрира више агената који раде на сложенијим проблемима у позадини.
"Временом ће се режими мешати — Цодек може да вас држи у уској интерактивној петљи док делегира дуготрајнији посао подагентима у позадини или паралелно распоређује задатке многим моделима када желите ширину и брзину, тако да не морате да бирате један режим унапред," портпарол ОпенАИ је рекао за ВентуреБеат.
Ова визија би захтевала не само брже закључивање, већ и софистицирану декомпозицију задатака и координацију између модела различитих величина и могућности. Цодек-Спарк успоставља основу ниске латенције за интерактивни део тог искуства; будућа издања ће морати да пруже аутономно резоновање и координацију са више агената који би омогућили пуну визију.
за сада, Цодек-Спарк ради под одвојеним ограничењима брзине од других ОпенАИ модела, одражавајући ограничен капацитет Церебрас инфраструктуре током прегледа истраживања. "Пошто ради на специјализованом хардверу са малим кашњењем, коришћење је регулисано посебним ограничењем брзине које се може прилагодити на основу потражње током прегледа истраживања," напоменуо је портпарол. Границе су дизајниране да буду "великодушан," са ОпенАИ праћењем образаца коришћења јер одређује како се скалирати.
Прави тест је да ли се бржи одговори претварају у бољи софтвер
Тхе Цодек-Спарк саопштење стиже усред интензивне конкуренције за алате за програмере са АИ. Антхропиц-ов производ Цлауде Цоворк је покренуо а распродаја акција традиционалних софтвера прошле недеље док су инвеститори разматрали да ли би помоћници вештачке интелигенције могли да замене конвенционалне пословне апликације. Мицрософт, Гооглеи Амазон настављају да улажу у могућности АИ кодирања интегрисане са њиховим одговарајућим платформама у облаку.
ОпенАИ-јева Цодек апликација је показала брзо усвајање од лансирања пре десет дана, са више од милион преузимања и недељно активним корисницима који су порасли за 60 процената из недеље у недељу. Више од 325.000 програмера сада активно користи Цодек на бесплатним и плаћеним нивоима. Али фундаментално питање са којим се суочава ОпенАИ – и шира АИ индустрија – је да ли су побољшања брзине попут оних која обећавају Цодек-Спарк претворити у значајне добитке у продуктивности или једноставно створити пријатнија искуства без промене исхода.
Рани докази алата за АИ кодирање сугеришу да бржи одговори подстичу итеративно експериментисање. Међу истраживачима и практичарима остаје питање да ли то експериментисање производи бољи софтвер. Оно што се чини јасним је да ОпенАИ гледа на кашњење закључивања као на конкурентску границу вриједну значајних улагања, чак и када је та инвестиција води даље од традиционалног Нвидиа партнерства на непровјерену територију са алтернативним добављачима чипова.
Церебрас договор је прорачуната опклада да специјализовани хардвер може да откључа случајеве употребе које ГПУ опште намене не могу исплативо да служе. За компанију која се истовремено бори са конкурентима, управља напетим односима са добављачима и превазилази унутрашње неслагање око свог комерцијалног правца, то је такође подсетник да у трци вештачке интелигенције стајање на месту није опција. ОпенАИ је изградио своју репутацију брзим кретањем и кршењем конвенција. Сада мора да докаже да може да се креће још брже – а да се не поквари.
