Гоогле издаје ФунцтионГемма: мали модел на ивици који може да контролише мобилне уређаје природним језиком

Док Гемини 3 још увек прави таласе, Гоогле не одустаје од гаса у погледу објављивања нових модела.

Компанија је јуче објавила ФунцтионГемма, специјализовани АИ модел са 270 милиона параметара дизајниран да реши једно од најупорнијих уских грла у модерном развоју апликација: поузданост на ивици.

За разлику од робота за ћаскање опште намене, ФунцтионГемма је пројектована за један, критичан услужни програм—превођење корисничких команди на природном језику у структурирани код који апликације и уређаји могу да извршавају, а све то без повезивања са облаком.

Издање означава значајан стратешки заокрет за Гоогле ДеепМинд и тим Гоогле АИ Девелоперс. Док индустрија наставља да јури скалу од трилиона параметара у облаку, ФунцтионГемма се клади на "Мали језички модели" (СЛМ) који раде локално на телефонима, прегледачима и ИоТ уређајима.

За АИ инжењере и градитеље предузећа, овај модел нуди нови архитектонски примитив: приватност на првом месту "рутер" који може да рукује сложеном логиком на уређају са занемарљивом латенцијом.

ФунцтионГемма је одмах доступна за преузимање на Хуггинг Фаце и Каггле. Такође можете видети модел у акцији преузимањем апликације Гоогле АИ Едге Галлери у Гоогле Плаи продавници.

Тхе Перформанце Леап

У својој сржи, ФунцтионГемма се бави "јаз у извршењу" у генеративној АИ. Стандардни модели великих језика (ЛЛМ) су одлични у разговору, али се често боре да поуздано покрену софтверске радње — посебно на уређајима са ограниченим ресурсима.

Према Гоогле-овом интерном "Мобиле Ацтионс" евалуација, генерички мали модел се бори са поузданошћу, постижући само 58% тачности основне линије за задатке позивања функција. Међутим, када је једном фино подешена за ову специфичну сврху, тачност ФунцтионГемме је скочила на 85%, стварајући специјализовани модел који може да покаже исту стопу успеха као модели много пута већи.

Омогућава моделу да рукује више од једноставних прекидача за укључивање/искључивање; може да анализира сложене аргументе, као што је идентификација специфичних координата мреже за покретање механике игре или детаљне логике.

Издање укључује више од само тежине модела. Гоогле пружа пуну "рецепт" за програмере, укључујући:

• Модел: 270М параметарски трансформатор обучен на 6 трилиона токена.

• Подаци о обуци: А "Мобиле Ацтионс" скуп података који помаже програмерима да обуче сопствене агенте.

• Подршка за екосистем: Компатибилност са библиотекама Хуггинг Фаце Трансформерс, Керас, Унслотх и НВИДИА НеМо.

Омар Сансевиеро, водитељ искуства програмера у Хуггинг Фаце, истакао је свестраност издања на Кс (раније Твитер), напомињући да је модел "дизајниран да буде специјализован за ваше сопствене задатке" и може да улети "ваш телефон, претраживач или друге уређаје."

Овај локални приступ нуди три различите предности:

• Приватност: Лични подаци (као што су уноси у календар или контакти) никада не напуштају уређај.

• Латенција: Радње се дешавају тренутно без чекања на повратно путовање сервера. Мала величина значи да је брзина којом обрађује унос значајна, посебно са приступом акцелераторима као што су ГПУ и НПУ.

• Цена: Програмери не плаћају накнаде за АПИ по токену за једноставне интеракције.

За АИ градитеље: нови образац за производне радне токове

За пословне програмере и системске архитекте, ФунцтионГемма предлаже одмак од монолитних АИ система ка сложеним системима. Уместо да усмеравају сваки мањи кориснички захтев на масивни, скупи модел облака као што је ГПТ-4 или Гемини 1.5 Про, градитељи сада могу да примене ФунцтионГемма као интелигентну "контролор саобраћаја" на ивици.

Ево како би градитељи вештачке интелигенције требало да концептуализују коришћење ФунцтионГемма у производњи:

1. Тхе "Траффиц Цонтроллер" Архитектура: У производном окружењу ФунцтионГемма може деловати као прва линија одбране. Налази се на корисниковом уређају и тренутно управља уобичајеним командама високе фреквенције (навигација, контрола медија, основни унос података). Ако захтев захтева дубоко резоновање или познавање света, модел може да идентификује ту потребу и усмери захтев на већи модел облака. Овај хибридни приступ драстично смањује трошкове закључивања у облаку и кашњење. Ово омогућава случајеве употребе као што је усмеравање упита до одговарајућег подагента.

2. Детерминистичка поузданост над креативним хаосом: Предузећима ретко треба да буду њихове апликације за банкарство или календар "стваралачки." Требају им да буду тачни. Скок на 85% тачности потврђује да специјализација надмашује величину. Фино подешавање овог малог модела на подацима специфичним за домен (нпр. власнички АПИ-ји предузећа) ствара високо поуздан алат који се понаша предвидљиво – услов за примену у производњи.

3. Приваци-Фирст Усклађеност: За секторе као што су здравство, финансије или безбедне операције предузећа, слање података у облак често представља ризик усаглашености. Пошто је ФунцтионГемма довољно ефикасна за покретање на уређају (компатибилна са НВИДИА Јетсон, мобилним процесорима и Трансформерс.јс заснованим на претраживачу), осетљиви подаци као што су ПИИ или власничке команде никада не морају да напусте локалну мрежу.

Лиценцирање: Отворено са заштитним оградама

ФунцтионГемма је објављена под Гоогле-овим прилагођеним Гемма условима коришћења. За пословне и комерцијалне програмере, ово је критична разлика у односу на стандардне лиценце отвореног кода као што су МИТ или Апацхе 2.0.

Док Гугл описује Гему као "отворени модел," није строго "Опен Соурце" према дефиницији Опен Соурце Инитиативе (ОСИ).

Лиценца дозвољава бесплатну комерцијалну употребу, редистрибуцију и модификацију, али укључује посебна ограничења употребе. Програмерима је забрањено да користе модел за ограничене активности (као што је генерисање говора мржње или малвера), а Гоогле задржава право да ажурира ове услове.

За огромну већину стартапа и програмера, лиценца је довољно дозвољена за прављење комерцијалних производа. Међутим, тимови који граде технологије двоструке употребе или оне за које је потребна строга слобода ауторског права требало би да прегледају посебне клаузуле у вези са "Штетна употреба" и приписивање.