Када је ваша просечна дневна употреба токена 8 милијарди дневно, имате велики проблем. То је био случај у АТ&Т-у, а главни службеник за податке Енди Маркус и његов тим су препознали да једноставно није изводљиво (или економично) све прогурати кроз велике моделе расуђивања. Дакле, када су правили интерни Аск АТ&Т персонални асистент, реконструисали су слој оркестрације. Резултат: стек са више агената изграђен на ЛангЦхаин-у где велики језички модел „супер агенти” усмеравају мање, основне „радничке” агенте који обављају концизнији, наменски вођен посао. Овај флексибилни слој оркестрације је драматично побољшао кашњење, брзину и време одзива, рекао је Маркус за ВентуреБеат. Најважније је да је његов тим уштедио до 90% трошкова. „Верујем да је будућност агентске вештачке интелигенције много, много, много малих језичких модела (СЛМ)“, рекао је он. „Сматрамо да су модели малих језика отприлике једнако тачни, ако не и тачни, као и велики језички модел на датој области домена.
Недавно су Маркус и његов тим користили овај реорганизовани стек заједно са Мицрософт Азуреом да би направили и применили Аск АТ&Т Воркфловс, графички програм за креирање агената за превлачење и испуштање за запослене да аутоматизују задатке.
Агенти користе скуп власничких АТ&Т алата који се баве обрадом докумената, конверзијом природног језика у СКЛ и анализом слике. „Док се радни ток извршава, АТ&Т-ови подаци су ти који заиста воде одлуке“, рекао је Маркус. Уместо да постављамо општа питања, „ми постављамо питања о нашим подацима и доносимо своје податке да бисмо били сигурни да се фокусирају на наше информације док доносе одлуке.“ Ипак, човек увек надгледа „ланчану реакцију“ агената. Све акције агената се евидентирају, подаци су изоловани током процеса, а приступ заснован на улози се примењује када агенти преносе радна оптерећења једни другима. „Ствари се дешавају аутономно, али човек у петљи и даље обезбеђује проверу и равнотежу читавог процеса“, рекао је Маркус.
Не пренаграђивати, користећи ‘заменљиве и изборне’ моделе
АТ&Т не узима а "изградити све од нуле" начин размишљања, приметио је Маркус; више се ослања на моделе који су „заменљиви и бирани“ и „никада не обнављају робу“. Како функционалност сазријева у индустрији, они ће одбацити домаће алате умјесто доступних опција, објаснио је он. „Зато што се у овом простору ствари мењају сваке недеље, ако имамо среће, понекад и више пута недељно“, рекао је он. „Морамо бити у могућности да пилотирамо, прикључимо и искључујемо различите компоненте. Они раде „заиста ригорозне” процене доступних опција као и својих сопствених; на пример, њихов Аск Дата витх Релатионал Кновледге Грапх је био на врху листе лидера Спидер 2.0 текста у СКЛ тачности, а други алати су постигли високе резултате на БЕРТ СКЛ тесту. У случају домаћих агентских алата, његов тим користи ЛангЦхаин као основни оквир, фино подешава моделе са стандардним генерисањем са проширеном генерисањем (РАГ) и другим интерним алгоритмима и блиско сарађује са Мицрософт-ом, користећи функционалност претраживања технолошког гиганта за њихову векторску продавницу. На крају, међутим, важно је не само да спојите агентску АИ или друге напредне алате у све због тога, саветовао је Маркус. „Понекад превише компликујемо ствари“, рекао је. „Понекад сам видео решење преко пројектованог.” Уместо тога, градитељи треба да се запитају да ли дато средство заиста треба да буде агентско. Ово би могло укључивати питања попут: Који ниво тачности би се могао постићи да је то једноставније генеративно решење са једним обртом? Како су могли да га раздвоје на мање делове где би сваки део могао бити испоручен „много тачније“?, како је Маркус рекао. Тачност, цена и одзивност алата треба да буду основни принципи. „Чак и када су решења постала компликованија, та три прилично основна принципа и даље нам дају много смера“, рекао је он.
Како га заправо користи 100.000 запослених
Аск АТ&Т Воркфловс је уведен на више од 100.000 запослених. Више од половине каже да га користе сваки дан, а активни корисници пријављују повећање продуктивности до чак 90%, рекао је Маркус. „Разматрамо, да ли они више пута користе систем? Зато што је лепљивост добар показатељ успеха“, рекао је он. Агент буилдер нуди „два путовања“ за запослене. Један је про-цоде, где корисници могу програмирати Питхон иза сцене, диктирајући правила како агенти треба да раде. Други је без кода, који садржи визуелни интерфејс превуци и испусти за „прилично лагано корисничко искуство“, рекао је Маркус. Занимљиво је да чак и искусни корисници гравитирају ка последњој опцији. На недавном хакатону намењеном техничкој публици, учесницима је дато да бирају и једно и друго, а више од половине је изабрало ниски код. „Ово је било изненађење за нас, јер су сви ови људи били веома компетентни у аспекту програмирања“, рекао је Маркус. Запослени користе агенте за различите функције; на пример, мрежни инжењер може да направи серију њих како би адресирао упозорења и поново повезао клијенте када изгубе везу. У овом сценарију, један агент може да повеже телеметрију да би идентификовао проблем са мрежом и његову локацију, извукао евиденцију промена и проверио познате проблеме. Затим, може отворити карту за проблеме. Други агент би тада могао да смисли начине да реши проблем, па чак и да напише нови код да га закрпи. Када се проблем реши, трећи агент може написати резиме са превентивним мерама за будућност. “Тхе [human] инжењер би пазио на све то, уверавајући се да агенти раде како се очекује и предузимају праве акције“, рекао је Маркус.
Кодирање на бази вештачке интелигенције је будућност
Та иста инжењерска дисциплина – разбијање рада на мање, наменски направљене делове – сада преобликује начин на који АТ&Т пише сам код, кроз оно што Маркус назива "Кодирање на бази вештачке интелигенције."
Он је упоредио процес са РАГ-ом; Програмери користе агилне методе кодирања у интегрисаном развојном окружењу (ИДЕ) заједно са „специфичним за функције“ архетиповима изградње који диктира како код треба да комуницира. Излаз није лабав код; шифра је „веома близу производне класе“ и могла би достићи тај квалитет у једном кораку. „Сви смо радили са вибрацијским кодирањем, где имамо агентску врсту уређивача кода“, приметио је Маркус. Али кодирање засновано на вештачкој интелигенцији „елиминише много повратних итерација које можете видети у кодирању вибрација. Он види ову технику кодирања као „опипљиво редефинисање“ циклуса развоја софтвера, на крају скраћујући временске рокове развоја и повећавајући излаз производног кода. Нетехнички тимови такође могу да се укључе у акцију, користећи упутства на једноставном језику за прављење прототипова софтвера. Његов тим је, на пример, користио технику да направи интерно курирани производ података за 20 минута; без вештачке интелигенције, изградња би трајала шест недеља. „Развијамо софтвер помоћу њега, модификујемо софтвер помоћу њега, радимо науку о подацима са њим, радимо аналитику података са њим, радимо инжењеринг података са њим“, рекао је Маркус. „Дакле, то је промена игре.“
