Виртуелни виртуелни помоћник ОпенЦлав—раније познат као Молтбот, а пре тога Цлавдбот—је симбол шире револуције у току која би могла фундаментално да промени начин на који интернет функционише. Уместо места које првенствено насељавају људи, вебом би ускоро могли да доминирају аутономни АИ ботови.
А нови извештај мерење активности ботова на вебу, као и сродних података које са ВИРЕД-ом дели компанија за интернет инфраструктуру Акамаи, показује да АИ ботови већ чине значајан удео веб саобраћаја. Налази такође бацају светло на све софистициранију трку у наоружању која се одвија док ботови примењују паметне тактике да заобиђу одбрану веб-сајта која је требало да их спречи.
„Већина интернета ће у будућности бити бот саобраћај“, каже Тошит Панграхи, суоснивач и извршни директор ТоллБит-а, компаније која прати активност веб-скрепинга и објавила је нови извештај. „Није само проблем са ауторским правима, на интернету се појављује нови посетилац.“
Већина великих веб локација покушава да ограничи садржај који ботови могу да изгребу и унесу АИ системима у сврхе обуке. (ВИРЕД-ова матична компанија, Цонде Наст, као и други издавачи, тренутно туже неколико компанија за вештачку интелигенцију због наводног кршења ауторских права у вези са обуком за вештачку интелигенцију.)
Али сада је у порасту и друга врста стругања веб локација у вези са вештачком интелигенцијом. Многи цхатботови и други алати вештачке интелигенције сада могу да преузимају информације у реалном времену са веба и да их користе за повећање и побољшање својих резултата. Ово може укључивати најновије цене производа, распореде биоскопа или сажетке најновијих вести.
Према подацима из Акамаија, промет бот-ова везан за обуку стално расте од прошлог јула. У међувремену, глобална активност ботова који преузимају веб садржај за АИ агенте је такође у порасту.
„АИ мења веб какав познајемо“, каже за ВИРЕД Роберт Блумофе, главни технолошки директор компаније Акамаи, „Трка у наоружању која је уследила одредиће будући изглед, осећај и функционалност веба, као и основе пословања.“
У четвртом тромесечју 2025. ТоллБит процењује да је у просеку једна од сваких 50 посета веб локацијама његових клијената била од робота за АИ сцрапинг. У прва три месеца 2025. та цифра је била само један од сваких 200. Компанија каже да је у четвртом тромесечју више од 13 одсто захтева за ботовима заобилазило роботс.ткт, датотеку коју неки веб-сајтови користе да назначе које странице би ботови требало да избегавају. ТоллБит каже да је удео ботова вештачке интелигенције који занемарују роботс.ткт порастао за 400 процената од другог тромесечја до четвртог квартала прошле године.
ТоллБит је такође пријавио пораст од 336 одсто у броју веб локација које покушавају да блокирају АИ ботове током прошле године. Панграхи каже да технике сцрапинга постају све софистицираније како сајтови покушавају да успоставе контролу над начином на који ботови приступају њиховом садржају. Неки ботови се маскирају тако што њихов саобраћај изгледа као да долази из нормалног веб претраживача или шаљу захтеве дизајниране да опонашају начин на који људи нормално комуницирају са веб локацијама. ТоллБит-ова студија примећује да се понашање неких агената вештачке интелигенције сада готово не разликује од људског веб саобраћаја.
ТоллБит тржишта алата које власници веб локација могу да користе за наплату АИ стругача за приступ њиховом садржају. Друге фирме, укључујући Цлоудфларе, понудити слични алати. „Свако ко се ослања на људски веб саобраћај – почевши од издавача, али у суштини сви – биће погођени“, каже Панграхи. „Потребно је да постоји бржи начин да се оствари та програмска размена вредности од машине до машине.
