A Cloudflare célja alapvetően a weboldalak teljesítményének és biztonságának növelése, azonban egyre több AI-modell használja fel az ingyenesen elérhető site-ok tartalmait, hogy abból tanuljon. Ez komoly problémát jelent, többek között írók is pert indítottak nagy techcégeket hasonló esetek miatt – néha eredménytelenül.
A Cloudflare a helyzetre azt a megoldást találta, hogy az AI-scraperek – vagyis azok a mesterséges intelligencia programok, amelyeknek feladata a weboldalak feltérképezése, valamint az azokból való tanulás – ellen felajánl a site-oknak egy beépíthető szolgáltatást, melynek bekapcsolásával választás elé állítják a mesterséges intelligenciát. Amennyiben az oldalon található adatokhoz hozzá akar férni, az fizetési kötelezettséggel jár, ez a szolgáltatás a pay per crawl nevet kapta.
Ha nem kapcsolják be ezt az opciót a weboldal üzemeltetői, úgy a scraperek nem kapnak hozzáférést az oldalhoz. A Cloudflare még 2023-ban kezdett fellépni ellenük, először csak egy szöveges fájlt rejtettek el bizonyos weboldalakon, amely meggátolta az AI-t az adatok felhasználásában – azonban ez nem működött minden modell esetében. Tavaly már sikerült egy új módszert kifejleszteniük, amivel az összes ismert scraper modellt sikerült kitiltani az oldalakról. A funkció alapból be van kapcsolva a Cloudflare felhasználók számára.
A pay per crawl szolgáltatás árát ráadásul a weboldalak üzemeltetői szabhatják meg, az AI pedig látja, hogy az adott oldal mennyit kér ezért. A Cloudflare szerint ez az AI-cégek javára is vállhat, ugyanis így kompenzálják az oldalakat, amelyek egyúttal hozzá is járulnak ahhoz, hogy adataikat felhasználják.
A cég vezérigazgatója szerint az AI-modelleket egyre többen használják, sokan már eleve ilyen módon keresnek válaszokat a szokásos keresőmotorok helyett.
Az emberek az elmúlt hat hónap során már jobban bíztak a mesterséges intelligenciában, ami azt jelenti, hogy kevésbé olvasnak eredeti tartalmakat
– mondta Matthew Prince, a Cloudflare vezérigazgatója.
A cég az új szolgáltatás mellett együtt fog működni az AI techcégekkel. Céljuk, hogy egy oldal meglátogatásakor megállapítsák, hogy a scraperek milyen céllal keresték fel azt – például tanulásra vagy forrásként a keresésekhez –, ezáltal a weboldalak üzemeltetői is be tudják állítani, hogy milyen modelleket engednek hozzáférni saját tartalmaikhoz. A vezérigazgató szerint meg kell találni az egyensúlyt, ahol a tartalomgyártók kezében van az irányítás, de az AI is tud profitálni az interneten fellelhető adatokból.
Az AI ellen védő szolgáltatás jelenleg csak néhány tartalomgyártó és kiadó oldalánál érhető el, azonban a cég hosszú távú célja, minden site számára megnyissa a lehetőséget.
