Пратите ЗДНЕТ: Додајте нас као жељени извор на Гоогле-у.
ЗДНЕТ-ови кључни закључци
- ОпенАИ циља на „разговорно“ кодирање, а не на споре агенте у батцх стилу.
- Велике победе у кашњењу: 80% брже повратно путовање, 50% брже време до првог токена.
- Ради на Церебрас ВСЕ-3 чиповима за први Цодек ниво сервирања са кашњењем.
Цодек тим на ОпенАИ је на ватри. Мање од две недеље након објављивања наменске апликације Цодек засноване на агентима за Мац рачунаре, и само недељу дана након објављивања бржег и управљивијег модела језика ГПТ-5.3-Цодек, ОпенАИ рачуна на удар грома по трећи пут.
Такође: ОпенАИ-ов нови ГПТ-5.3-Цодек је 25% бржи и сада превазилази кодирање – шта је ново
Данас је компанија најавила преглед истраживања ГПТ-5.3-Цодек-Спарк, мање верзије ГПТ-5.3-Цодек-а направљеног за кодирање у реалном времену у Цодек-у. Компанија извјештава да генерише код 15 пута брже док „остаје веома способан за задатке кодирања у стварном свијету“. Постоји квака и о томе ћу за минут.
Такође: ОпенАИ-јев Цодек је управо добио сопствену Мац апликацију – и свако може да је испроба бесплатно сада
Цодек-Спарк ће у почетку бити доступан само корисницима Про нивоа од 200 УСД месечно, са посебним ограничењима стопе током периода прегледа. Ако следи уобичајену ОпенАИ-ову стратегију издавања за Цодек издања, Плус корисници ће бити следећи, док ће други нивои добити приступ прилично брзо.
(Откривање: Зифф Давис, ЗДНЕТ-ова матична компанија, поднела је тужбу у априлу 2025. против ОпенАИ, наводећи да је прекршила ауторска права Зифа Дејвиса у обуци и управљању својим системима вештачке интелигенције.)
Проширивање Цодек породице за сарадњу у реалном времену
ОпенАИ каже да је Цодек-Спарк његов „први модел дизајниран посебно за рад са Цодек-ом у реалном времену – прављење циљаних измена, преобликовање логике или пречишћавање интерфејса и одмах увиђање резултата“.
Хајде да ово укратко деконструишемо. Већини агентских алата за АИ програмирање треба неко време да одговоре на упутства. У свом раду на програмирању, могу да дам инструкције (а то се односи и на Цодек и Цлауде Цоде) и да одем и радим на нечем другом неко време. Понекад је то само неколико минута. У другим случајевима, може бити довољно дуго да добијете ручак.
Такође: урадио сам 4 године развоја производа за 4 дана за 200 долара, и још увек сам запањен
Цодек-Спарк је очигледно у стању да реагује много брже, омогућавајући брз и континуиран рад. Ово би могло знатно убрзати развој, посебно за једноставније упите и упите.
Знам да сам повремено био фрустриран када сам АИ поставио супер једноставно питање које је требало да генерише тренутни одговор, али сам ипак морао да чекам пет минута на одговор.
Тиме што је одзив постао кључна карактеристика, модел подржава течније, конверзацијско кодирање. Понекад, коришћење агената за кодирање више личи на старошколско групно кодирање. Ово је дизајнирано да превазиђе тај осећај.
ГПТ-5.3-Цодек-Спарк није намењен да замени основни ГПТ-5.3-Цодек. Уместо тога, Спарк је дизајниран да допуни АИ моделе високих перформанси направљене за дуготрајне, аутономне задатке који трају сатима, данима или недељама.
Перформансе
Модел Цодек-Спарк је намењен за рад где је одзив једнако важан као и интелигенција. Подржава прекид и преусмеравање усред задатка, омогућавајући уске итерацијске петље.
Ово је нешто што ме привлачи, јер увек смислим нешто више да кажем АИ десет секунди након што сам му дао задатак.
Такође: Користио сам Цлауде Цоде да вибе кодирам Мац апликацију за 8 сати, али то је био више посао него магија
Модел Спарк подразумевано користи лагане, циљане измене, правећи брза подешавања уместо великих замаха. Такође не покреће аутоматски тестове осим ако се то не захтева.
ОпенАИ је успео да смањи кашњење (бржи обрт) у целом цевоводу захтев-одговор. Каже да су режијски трошкови по клијенту/серверу смањени за 80%. Општи трошкови по токену су смањени за 30%. Време до првог токена је смањено за 50% кроз иницијализацију сесије и оптимизације стримовања.
Други механизам који побољшава одзив током итерације је увођење трајне ВебСоцкет везе, тако да се веза не мора стално преговарати.
Покреће Церебрас АИ чипови
У јануару, ОпенАИ најавио партнерство са АИ произвођачем чипова Церебрас. Већ неко време покривамо Церебрас. Покривали смо њену услугу закључивања, њен рад са ДеепСеек-ом, његов рад на побољшању перформанси Мета-иног Ллама модела и Церебрасову најаву заиста велики АИ чип, намењен да удвостручи ЛЛМ перформансе.
ГПТ-5.3-Цодек-Спарк је прва прекретница за ОпенАИ/Церебрас партнерство објављено прошлог месеца. Модел Спарк ради на Церебрасовом Вафер Сцале Енгине 3, који је архитектура АИ чипа високих перформанси која повећава брзину стављајући све рачунарске ресурсе на један процесор величине вафер-а величине палачинке.
Такође: 7 подешавања ЦхатГПТ подешавања без којих више не могу да радим – а ја сам искусни корисник
Обично полупроводничка плочица садржи читаву гомилу процесора, који се касније у процесу производње секу и стављају у сопствену амбалажу. Церебрас вафер садржи само један чип, што га чини веома, веома великим процесором са веома, веома блиско повезаним везама.
Према Шону Лију, техничком техничком директору и суоснивачу Церебраса, „Оно што нас највише узбуђује у вези са ГПТ-5.3-Цодек-Спарк је партнерство са ОпенАИ-ом и заједницом програмера да откријемо шта брзо закључивање омогућава – нови обрасци интеракције, нови случајеви коришћења и фундаментално другачије искуство модела. Овај преглед је само почетак.“
Проблеми
Сада, ево проблема.
Прво, ОпенАИ каже да „када је потражња велика, можда ћете видети спорији приступ или привремено чекање у реду док уравнотежујемо поузданост међу корисницима“. Дакле, брзо, осим ако превише људи жели да иде брзо.
Ево ударца. Компанија каже: „На СВЕ-Бенцх Про и Терминал-Бенцх 2.0, два бенчмарка који процењују способност агентског софтверског инжењеринга, ГПТ-5.3-Цодек-Спарк има лошији учинак од ГПТ-5.3-Цодек, али може да изврши задатке у делићу времена.“
Прошле недеље, у најави ГПТ-5.3-Цодек, ОпенАИ је рекао да је ГПТ-5.3-Цодек први модел који класификује као „високе способности“ за сајбер безбедност, према објављеном Оквир приправности. С друге стране, компанија је признала да ГПТ-5.3-Цодек-Спарк „нема вероватне шансе да достигне наш праг приправности за високу способност у сајбер безбедности“.
Такође: Престао сам да користим ЦхатГПТ за све: ови модели вештачке интелигенције су га победили у истраживању, кодирању и још много тога
Размислите о овим изјавама, драги читаоче. Ова вештачка интелигенција није тако паметна, али много брже ради оне не тако паметне ствари. Брзина од 15к свакако није ништа за кијање. Али да ли заиста желите да АИ прави грешке у кодирању 15 пута брже и производи код који је мање сигуран?
Дозволите ми да вам кажем ово. „Ех, довољно је добро“ није баш довољно добро када имате хиљаде разбеснелих корисника који вам прилазе са бакљама и вилама јер сте изненада покварили њихов софтвер новим издањем. Питај ме како знам.
Прошле недеље смо сазнали да ОпенАИ користи Цодек за писање Цодека. Такође знамо да га користи да би могао да направи код много брже. Дакле, компанија очигледно има случај употребе за нешто што је много брже, али не тако паметно. Када будем боље разумео шта је то и где Спарк одговара, обавестићу вас.
Шта је следеће?
ОпенАИ је поделио да ради на двоструким начинима размишљања и рада у реалном времену за своје Цодек моделе.
Компанија каже: „Цодек-Спарк је први корак ка Цодек-у са два комплементарна режима: размишљање и извршавање дужег хоризонта, и сарадња у реалном времену за брзу итерацију. Временом ће се режими мешати.“
Модел тока посла који предвиђа је занимљив. Према ОпенАИ-ју, намера је да на крају „Цодек може да вас држи у уској интерактивној петљи док делегира дуготрајнији посао под-агентима у позадини, или паралелно преноси задатке многим моделима када желите ширину и брзину, тако да не морате да бирате један режим унапред.
Такође: Испробао сам ривала Цлауде Цоде-а који је локални, отвореног кода и потпуно бесплатан – како је прошло
У суштини, ради ка најбољем од оба света. Али за сада можете бирати брзо или тачно. То је тежак избор. Али тачност постаје тачнија, а сада, барем, можете се одлучити за брзо када то желите (све док имате на уму компромисе и плаћате за ниво Про).
Шта је са тобом? Да ли бисте заменили неке обавештајне и безбедносне могућности за 15 пута брже одговоре кодирања? Да ли вам се свиђа идеја о АИ сараднику који се може прекинути у реалном времену или више волите промишљенији модел веће тачности за озбиљан развојни рад?
Колико сте забринути због разлике у сајбер безбедности између Цодек-Спарк-а и потпуног ГПТ-5.3-Цодек модела? А ако сте Про корисник, видите ли себе како прелазите између „брзог“ и „паметног“ режима у зависности од задатка? Обавестите нас у коментарима испод.
Можете пратити моја свакодневна ажурирања пројекта на друштвеним мрежама. Обавезно се претплатите на мој недељни ажурирани билтени пратите ме на Твиттер/Кс на @ДавидГевиртзна Фејсбуку у Фацебоок.цом/ДавидГевиртзна Инстаграму у Инстаграм.цом/ДавидГевиртзна Блуески ат @ДавидГевиртз.цома на ИоуТубе-у на адреси ИоуТубе.цом/ДавидГевиртзТВ.
