Испоручите брзо, оптимизујте касније: врхунски АИ инжењери не брину о трошковима – они дају приоритет примени

У свим индустријама, растући трошкови рачунара се често наводе као препрека за усвајање АИ – али водеће компаније откривају да трошкови више нису право ограничење. Тежи изазови (и они који су најважнији за многе технолошке лидере)? Латенција, флексибилност и капацитет. У Вондеру, на пример, АИ додаје само неколико центи по наруџбини; компанија за доставу и понети храну много више брине о капацитету облака са нагло растућим захтевима. Рекурзија је, са своје стране, била фокусирана на балансирање мале и веће обуке и имплементације преко локалних кластера и облака; ово је биотехнолошкој компанији омогућило флексибилност за брзо експериментисање. Истинска искуства компанија истичу шири тренд у индустрији: за предузећа која користе вештачку интелигенцију у великим размерама, економија није кључни одлучујући фактор — разговор се померио са начина плаћања за вештачку интелигенцију на то колико брзо може да се примени и одржи. Лидери вештачке интелигенције из две компаније су недавно састали са извршним директором Вентуребеат-а и главним уредником Метом Маршалом као део ВБ-ове путујуће серије АИ Импацт Сериес. Ево шта су поделили.

Чудо: Размислите шта претпостављате о капацитету

Вондер користи вештачку интелигенцију да покреће све, од препорука до логистике – али, од сада, како је известио ЦТО Џејмс Чен, АИ додаје само неколико центи по поруџбини.

Чен је објаснио да технолошка компонента поруџбине оброка кошта 14 центи, а вештачка интелигенција додаје 2 до 3 цента, иако то „стварно брзо расте“ на 5 до 8 центи. Ипак, то се чини готово небитним у поређењу са укупним оперативним трошковима. Уместо тога, главна брига компаније са вештачком интелигенцијом која је 100% изворна у облаку је капацитет са растућом потражњом. Вондер је изграђен уз „претпоставку“ (која се показала нетачном) да ће постојати „неограничен капацитет“ како би могли да се крећу „супер брзо“ и да не би морали да брину о управљању инфраструктуром, приметио је Чен. Али компанија је прилично порасла у последњих неколико година, рекао је; као резултат тога, пре отприлике шест месеци, „почели смо да добијамо мале сигнале од добављача облака, ‘Хеј, можда ћете морати да размислите о одласку у регион два’“, јер су им понестајали капацитети за ЦПУ или складиштење података у њиховим објектима како је потражња расла. Било је „веома шокантно“ да су морали да пређу на план Б раније него што су очекивали. „Очигледно је да је добра пракса бити мулти-регион, али размишљали смо можда још две године касније“, рекао је Чен.

Шта није економски изводљиво (још)

Вондер је направио сопствени модел како би максимизирао своју стопу конверзије, приметио је Чен; циљ је да се нови ресторани појаве релевантним купцима што је више могуће. Ово су „изоловани сценарији“ где се модели током времена обучавају да буду „веома, веома ефикасни и веома брзи“. Тренутно, најбоља опклада за случај употребе Вондера су велики модели, приметио је Чен. Али дугорочно, они би желели да пређу на мале моделе који су хипер-прилагођени појединцима (преко АИ агената или консијержа) на основу њихове историје куповине, па чак и њиховог тока кликова. „Поседовање ових микро модела је дефинитивно најбоље, али тренутно је цена веома скупа“, приметио је Чен. „Ако покушате да направите један за сваку особу, то једноставно није економски изводљиво.

Буџетирање је уметност, а не наука

Вондер даје својим програмерима и научницима података што је могуће више простора за експериментисање, а интерни тимови прегледају трошкове коришћења како би се уверили да нико није укључио модел и „навукао огроман рачун око огромног рачуна“, рекао је Чен. Компанија покушава различите ствари да пребаци на вештачку интелигенцију и ради у границама маргина. „Али онда је веома тешко планирати буџет јер немате појма“, рекао је он. Једна од изазовних ствари је темпо развоја; када изађе нови модел, „не можемо само да седимо тамо, зар не? Морамо да га користимо.“ Буџетирање за непознату економију система заснованог на токенима је „дефинитивно уметност против науке“. Критична компонента у животном циклусу развоја софтвера је очување контекста када се користе велики изворни модели, објаснио је он. Када пронађете нешто што функционише, можете га додати у „корпус контекста“ ваше компаније који се може послати уз сваки захтев. То је велико и сваки пут кошта. „Преко 50%, до 80% ваших трошкова је само поновно слање истих информација назад у исти мотор на сваки захтев“, рекао је Чен.

У теорији, што више раде требало би да захтевају мање трошкове по јединици. „Знам да када дође до трансакције, платићу порез од Кс центи за сваку од њих, али не желим да будем ограничен да користим технологију за све ове друге креативне идеје."

‘Тренутак оправдања’ за Рекурзију

Рекурзија се, са своје стране, фокусирала на задовољавање широких рачунарских потреба путем хибридне инфраструктуре локалних кластера и закључивања из облака. Када је првобитно желела да изгради своју АИ инфраструктуру, компанија је морала да иде са сопственим подешавањем, јер „провајдери у облаку нису имали много добрих понуда“, објаснио је ЦТО Бен Мабеи. „Тренутак оправдања је био да нам је било потребно више рачунара и ми смо се обратили добављачима облака и они су били као, ‘Можда за годину дана или тако нешто’.“ Први кластер компаније у 2017. укључивао је Нвидиа графичке процесоре за игре (1080с, лансиран 2016.); од тада су додали Нвидиа Х100с и А100с, и користе Кубернетес кластер који покрећу у облаку или он-прем. Осврћући се на питање дуговечности, Мабеи је приметио: „Ови графички процесори за игре се заправо и данас користе, што је сулудо, зар не? Мит да је животни век ГПУ-а само три године, то дефинитивно није случај. А100 су и даље на врху листе, они су радни коњ индустрије.“

Најбољи случајеви употребе на прем у односу на облак; разлике у трошковима

У скорије време, Мабијев тим је обучавао основни модел на Рецурсион-овом репозиторијуму слика (који се састоји од петабајта података и више од 200 слика). Овај и други типови великих послова обуке захтевали су „масовни кластер“ и повезана подешавања са више чворова. „Када нам је потребна та потпуно повезана мрежа и приступ великом броју наших података у високопаралелном систему датотека, идемо он-прем“, објаснио је он. С друге стране, краћа оптерећења раде у облаку. Метод рекурзије је да се „претходе“ ГПУ-ови и Гоогле тензорске процесорске јединице (ТПУ), што је процес прекидања извршавања ГПУ задатака да би се радили на онима са вишим приоритетом. „Зато што нам није стало до брзине у неким од ових задатака закључивања где отпремамо биолошке податке, било да су то подаци о слици или секвенци, подаци о ДНК“, објаснио је Мабеи. „Можемо рећи: ‘Дај нам ово за сат времена’ и у реду смо ако то убија посао. Из перспективе трошкова, премештање великих радних оптерећења на лицу места је „конзервативно“ 10 пута јефтиније, приметио је Мабеи; за петогодишњи ТЦО, то је пола цене. С друге стране, за мање потребе за складиштењем, облак може бити „прилично конкурентан“ у погледу трошкова. На крају, Мабеи је позвао технолошке лидере да се повуку и утврде да ли су заиста вољни да се посвете АИ; исплатива решења обично захтевају вишегодишње куповине. „Из психолошке перспективе, видео сам наше колеге који неће да улажу у рачунаре, и као резултат тога увек плаћају на захтев," рекао је Мабеи. "Њихови тимови користе далеко мање рачунара јер не желе да подигну рачун за облак. Иновације заиста ометају људи који не желе да спале новац.“