Миљама далеко преко пустиње, Велика пирамида изгледа као савршена, глатка геометрија – углађен троугао који показује ка звездама. Међутим, станите у подножје и илузија глаткоће нестаје. Видите масивне, назубљене блокове кречњака. То није нагиб; то је степениште.
Запамтите ово следећи пут када чујете футуристе како говоре о експоненцијалном расту.
Интелов суоснивач Гордон Мур (Муров закон) је познат по томе што је 1965. рекао да ће се број транзистора на микрочипу удвостручити сваке године. Други Интелов извршни директор, Дејвид Хаус, касније је ревидирао ову изјаву како би „удвостручио снагу рачунара сваких 18 месеци." Неко време, Интелови процесори су били постер овог закона. То јест, све док се раст перформанси процесора није спљоштио као блок кречњака.
Али ако умањите, следећи блок кречњака је већ био ту — раст у рачунарству је само прешао са ЦПУ-а на свет ГПУ-а. Јенсен Хуанг, Нвидијин извршни директор, играо је дугу игру и изашао као снажан победник, изградивши сопствене степенице у почетку са играњем, затим компјутерским визионарством, а недавно и генеративном вештачком интелигенцијом.
Илузија глатког раста
Раст технологије је пун спринтова и платоа, а ген АИ није имун. Тренутни талас покреће архитектура трансформатора. Да цитирам председника и суоснивача Антхропиц-а Дарија Амодеија: „Експоненцијално се наставља све док не дође. И сваке године смо били као: ‘Па, ово никако не може бити случај да ће се ствари наставити експоненцијално’ – а онда сваке године јесте.“
Али баш када је ЦПУ скочио и ГПУ-ови преузели вођство, видимо знакове да раст ЛЛМ-а поново мења парадигме. На пример, крајем 2024. године, ДеепСеек је изненадио свет обучавањем модела светске класе са невероватно малим буџетом, делом користећи технику МОЕ.
Да ли се сећате где сте недавно видели да се помиње ова техника? Нвидијино Рубин саопштење за штампу: Технологија укључује „…најновије генерације Нвидиа НВЛинк технологије међусобног повезивања… за убрзавање агентске АИ, напредног резоновања и масовног закључивања МоЕ модела уз до 10 пута нижу цену по токену.“
Јенсен зна да постизање тог жељеног експоненцијалног раста у рачунарству више не долази од чисте грубе силе. Понекад морате у потпуности да промените архитектуру да бисте поставили следећу одскочну даску.
Криза латенције: Где се Грок уклапа
Овај дугачак увод нас доводи до Грока.
Највећи добици у способностима АИ резоновања у 2025. били су вођени „рачунањем времена закључивања“ – или, лаички речено, „пуштањем модела да размишља дужи временски период“. Али време је новац. Потрошачи и предузећа не воле чекање.
Грок овде долази у игру са својим закључком о брзини муње. Ако спојите архитектонску ефикасност модела као што је ДеепСеек и чисту пропусност Грок-а, добијате граничну интелигенцију на дохват руке. Бржим извођењем закључивања, можете „надмашити“ конкурентске моделе, нудећи „паметнији“ систем купцима без казне заостајања.
Од универзалног чипа до оптимизације закључивања
Током последње деценије, ГПУ је био универзални чекић за сваки АИ ексер. Користите Х100 за обуку модела; користите Х100с (или скраћене верзије) за покретање модела. Али како се модели померају ка "Систем 2" размишљање — где АИ размишља, самоисправља и понавља пре него што одговори — рачунарско оптерећење се мења.
Обука захтева огромну паралелну грубу силу. Закључивање, посебно за моделе закључивања, захтева бржу секвенцијалну обраду. Мора одмах да генерише токене да би олакшао сложене ланце мисли без да корисник чека неколико минута на одговор. Грок-ова ЛПУ (Јединица за обраду језика) архитектура уклања уско грло у пропусном опсегу меморије које мучи ГПУ-ове током закључивања мале серије, пружајући муњевито закључивање.
Мотор за следећи талас раста
За Ц-Суите, ова потенцијална конвергенција решава "време за размишљање" латентна криза. Узмите у обзир очекивања од АИ агената: желимо да аутономно резервишу летове, кодирају читаве апликације и истражују правни преседан. Да би се ово поуздано урадило, модел ће можда морати да генерише 10.000 интерних "мисаони жетони" да верификује сопствени рад пре него што пошаље једну реч кориснику.
-
На стандардном ГПУ-у: За 10.000 мисаоних токена може бити потребно 20 до 40 секунди. Кориснику се досађује и одлази.
-
На Гроку: Тај исти ланац мисли се дешава за мање од 2 секунде.
Ако Нвидиа интегрише Грок-ову технологију, они ће решити проблем "чекајући да робот размисли" проблем. Они чувају магију АИ. Баш као што су прешли са рендеровања пиксела (игре) на рендеровање интелигенције (ген АИ), сада би прешли на рендеровање расуђивање у реалном времену.
Штавише, ово ствара огроман софтверски јарак. Грок-ова највећа препрека је увек био софтверски стог; Нвидијина највећа предност је ЦУДА. Ако Нвидиа обави свој екосистем око Грок-овог хардвера, они ефективно копају јарак толико широк да га конкуренти не могу прећи. Они би понудили универзалну платформу: најбоље окружење за обуку и најефикасније окружење за трчање (Грок/ЛПУ).
Размислите шта се дешава када упарите ту сирову моћ закључивања са моделом отвореног кода следеће генерације (попут ДеепСеек-а 4 о коме се причало): Добићете понуду која би била конкурентна данашњим граничним моделима по цени, перформансама и брзини. То отвара могућности за Нвидију, од директног уласка у посао закључивања са сопственом понудом у облаку, до наставка напајања све већем броју купаца који експоненцијално расте.
Следећи корак у пирамиди
Да се вратимо на нашу уводну метафору: Тхе "експоненцијална" раст АИ није глатка линија сирових ФЛОП-ова; то је степениште уских грла које се разбија.
-
Блок 1: Нисмо могли довољно брзо да израчунамо. решење: ГПУ.
-
Блок 2: Нисмо могли да тренирамо довољно дубоко. решење: Архитектура трансформатора.
-
Блок 3: Не можемо "мислити" довољно брзо. решење: Гроков ЛПУ.
Јенсен Хуанг никада се није плашио да канибализује сопствене линије производа да би поседовао будућност. Потврђивањем Грок-а, Нвидиа не би само куповала бржи чип; доносили би следећу генерацију интелигенције масама.
Андрев Филев, оснивач и извршни директор Зенцодер-а
