Алибаба је избацила Квен3.5 раније ове недеље, темпирано да се поклопи са лунарном новом годином, а само насловни бројеви су довољни да натерају пословне АИ купце да зауставе и обрате пажњу.
Нови водећи модел отворене тежине — Квен3.5-397Б-А17Б — садржи 397 милијарди укупних параметара, али активира само 17 милијарди по токену. Тврди да је победио у односу на претходни Алибабин водећи модел, Квен3-Мак, модел за који је сама компанија признала да је премашио један билион параметара.
Издање означава значајан тренутак у набавци вештачке интелигенције предузећа. За ИТ лидере који процењују инфраструктуру вештачке интелигенције за 2026. годину, Квен 3.5 представља другачију врсту аргумента: да модел који заправо можете да покрећете, поседујете и контролишете сада може да размењује ударце са моделима које морате да изнајмите.
Нова архитектура направљена за брзину у размерама
Инжењерска прича испод Квен3.5 почиње од његовог порекла. Модел је директан наследник експерименталног Квен3-Нект из септембра прошле године, ултра оскудног модела МОЕ који је претходно прегледан, али се сматра да је полуобучен. Квен3.5 преузима тај архитектонски правац и агресивно га скалира, скачући са 128 стручњака у претходним Квен3 МоЕ моделима на 512 стручњака у новом издању.
Практична импликација овог и бољег механизма пажње је драматично мања латенција закључивања. Пошто је само 17 милијарди од тих 397 милијарди параметара активно за било који пролаз унапред, рачунарски отисак је далеко ближи 17Б густом моделу него моделу од 400Б — док модел може да искористи пуну дубину свог експертског базена за специјализовано резоновање.
Ови добици у брзини су значајни. На дужинама контекста од 256К, Квен 3.5 декодира 19 пута брже од Квен3-Мак и 7,2 пута брже од модела 235Б-А22Б Квен 3.
Алибаба такође тврди да је модел 60% јефтинији за покретање од свог претходника и осам пута способнији за руковање великим истовременим радним оптерећењима, бројке које су од огромног значаја за сваки тим који обраћа пажњу на рачуне за закључке. Такође се ради о 1/18. цена Гоогле-овог Гемини 3 Про.
Две друге архитектонске одлуке употпуњују ове добитке:
-
Квен3.5 усваја предвиђање са више токена — приступ пионирски у неколико власничких модела — који убрзава конвергенцију пре обуке и повећава пропусност.
-
Такође наслеђује систем пажње од Квен3-Нект објављен прошле године, дизајниран посебно да смањи притисак на меморију на веома дугим дужинама контекста.
Резултат је модел који може удобно да ради у оквиру контекстног прозора од 256К у отвореној верзији и до 1 милион токена у хостованој варијанти Квен3.5-Плус на Алибаба Цлоуд Модел Студио.
Природни мултимодални, није причвршћен
Годинама је Алибаба користио стандардни индустријски приступ: изградио језички модел, а затим прикључио енкодер за визију да би направио посебну ВЛ варијанту. Квен3.5 у потпуности напушта тај образац. Модел се истовремено обучава од нуле за текст, слике и видео, што значи да је визуелно резоновање уткано у основне представе модела, а не накалемљено.
Ово је битно у пракси. Урођени мултимодални модели имају тенденцију да надмашују своје колеге засноване на адаптерима у задацима који захтевају чврсто образложење текста и слике — размислите о анализи техничког дијаграма уз његову документацију, обради снимака екрана корисничког интерфејса за агентске задатке или издвајању структурираних података из сложених визуелних распореда. На МатхВиста-и, модел добија 90,3; на МММУ, 85,0. Заостаје за Гемини 3 на неколико мерила специфичних за визију, али надмашује Цлауде Опус 4.5 на мултимодалним задацима и даје конкурентне бројеве у односу на ГПТ-5.2, све док носи делић параметара.
Перформансе Квен3.5 у поређењу са већим власничким моделима је број који ће водити разговоре у предузећима.
Према проценама које је Алибаба објавила, модел 397Б-А17Б надмашује Квен3-Мак — модел са преко трилиона параметара — у вишеструким задацима закључивања и кодирања.
Такође тврди конкурентне резултате у односу на ГПТ-5.2, Цлауде Опус 4.5 и Гемини 3 Про на основу општих резоновања и кодирања.
Покривеност језика и ефикасност токенизера
Један недовољно цењени детаљ у издању Квен3.5 је његов проширени вишејезични домет. Речник модела је порастао на 250.000 токена, у односу на 150.000 у претходним Квен генерацијама и сада упоредив са Гоогле-овим ~256К токенизером. Подршка за језик се проширује са 119 језика у Квен 3 на 201 језик и дијалект.
Надоградња токенизера има директне импликације на трошкове за глобалне примене. Већи речници кодирају нелатинска писма — арапска, тајландска, корејска, јапанска, хинди и друга — ефикасније, смањујући број токена за 15–40% у зависности од језика. За ИТ организације које користе АИ на нивоу вишејезичних корисничких база, ово није академски детаљ. То се директно преводи у ниже трошкове закључивања и брже време одговора.
Агентске могућности и ОпенЦлав интеграција
Алибаба експлицитно позиционира Квен3.5 као агентски модел — модел који је дизајниран не само да одговара на упите, већ и да предузима аутономне акције у више корака у име корисника и система. Компанија има Квен Цоде отвореног кода, интерфејс командне линије који омогућава програмерима да делегирају сложене задатке кодирања моделу на природном језику, отприлике аналогно Антхропицовом Цлауде Цоде-у.
Издање такође наглашава компатибилност са ОпенЦлав-ом, агентским оквиром отвореног кода који је ове године нагло прихваћен од стране програмера. Са 15.000 различитих окружења за учење са појачањем која се користе да се изоштре резоновање модела и извршавање задатака, Квен тим се намерно кладио на обуку засновану на РЛ ради побољшања практичних агентских перформанси — тренд у складу са оним што је МиниМак демонстрирао са М2.5.
Хостована варијанта Квен3.5-Плус такође омогућава адаптивне режиме закључивања: брзи режим за апликације осетљиве на кашњење, режим размишљања који омогућава проширено размишљање у ланцу размишљања за сложене задатке и аутоматски (прилагодљиви) режим који се бира динамички. Та флексибилност је важна за примену у предузећима где ће исти модел можда морати да служи и интеракцијама корисника у реалном времену и дубоким аналитичким токовима посла.
Реалност примене: Шта ИТ тимови заправо треба да знају
Покретање Квен3.5 опен-веигхтс-а у кући захтева озбиљан хардвер. Док квантизована верзија захтева приближно 256 ГБ РАМ-а, а реално 512 ГБ за удобан простор. Ово није модел за радну станицу или скромни он-прем сервер. Оно за шта је погодан је ГПУ чвор — конфигурација коју многа предузећа већ користе за радна оптерећења закључивања, и она која сада нуди убедљиву алтернативу имплементацијама зависним од АПИ-ја.
Сви Квен 3.5 модели отвореног типа су објављени под лиценцом Апацхе 2.0. Ово је значајна разлика у односу на моделе са прилагођеним или ограниченим лиценцама: Апацхе 2.0 дозвољава комерцијалну употребу, модификацију и редистрибуцију без накнаде, без приложених значајних стрингова. За правне тимове и тимове за набавке који процењују отворене моделе, тај став чистог лиценцирања знатно поједностављује разговор.
Шта следи
Алибаба је потврдила да је ово прво издање у породици Квен3.5, а не потпуно увођење. На основу обрасца из Квен3 — који је представљао моделе до 600 милиона параметара — индустрија очекује да ће мањи густо дестиловани модели и додатне конфигурације МОЕ уследити у наредних неколико недеља и месеци. Модел Квен3-Нект 80Б из септембра прошле године сматран је недовољно обученим, што сугерише да је варијанта од 3,5 на тој скали вероватно ускоро издање.
За доносиоце ИТ одлука, путања је јасна. Алибаба је показала да модели отворене тежине на граници више нису компромис. Квен3.5 је права опција набавке за тимове који желе размишљање у граничној класи, изворне мултимодалне могућности и прозор контекста од 1М токена — без закључавања у власнички АПИ. Следеће питање није да ли је ова породица модела довољно способна. То је да ли су ваша инфраструктура и тим спремни да то искористе.
Квен 3.5 је доступно сада на Хуггинг Фаце под ИД модела Квен/Квен3.5-397Б-А17Б. Хостовани Квен3.5-Плус варијанта је доступна преко Алибаба Цлоуд Модел Студио. Квен Цхат ат цхат.квен.аи нуди бесплатан јавни приступ за евалуацију.
