Cloudflare zet AI in tegen ongewenste dataverzamelaars
Cloudflare introduceert een nieuwe technologie genaamd AI Labyrinth die ongewenste AI crawlers misleidt met automatisch gegenereerde nepinhoud. Het systeem is vanaf nu beschikbaar voor alle klanten, inclusief gebruikers met een gratis abonnement.
Cloudflare heeft vandaag een innovatieve oplossing aangekondigd in de strijd tegen ongeautoriseerde dataverzameling door AI systemen. Het nieuwe AI Labyrinth systeem gebruikt AI gegenereerde content om kwaadwillende crawlers te vertragen, verwarren en hun middelen te verspillen wanneer ze zich niet houden aan 'niet crawlen' richtlijnen.
De timing van deze ontwikkeling is significant. AI gegenereerde content is de laatste tijd explosief toegenomen, met rapporten die aangeven dat vier van de twintig populairste Facebook berichten vorig najaar door AI waren gemaakt. Het platform Medium schat dat 47% van alle content op hun platform AI gegenereerd is. Tegelijkertijd ziet Cloudflare een sterke toename in het aantal crawlers die data verzamelen voor het trainen van AI modellen, met meer dan vijftig miljard verzoeken per dag op hun netwerk.
In plaats van deze ongewenste bezoekers simpelweg te blokkeren, wat kan leiden tot een wapenwedloop waarbij aanvallers steeds nieuwe technieken ontwikkelen, kiest Cloudflare voor een slimmere aanpak. Wanneer het systeem ongeautoriseerd crawlen detecteert, worden de crawlers doorgestuurd naar een reeks overtuigend ogende maar kunstmatig gegenereerde pagina's. Deze pagina's bevatten geen gevoelige informatie maar zien er wel echt genoeg uit om crawlers aan te moedigen ze te blijven doorzoeken.
Het systeem fungeert ook als een geavanceerde honeypot. Geen enkele menselijke bezoeker zal vier links diep in een doolhof van AI gegenereerde onzin doorklikken. Elke bezoeker die dat wel doet, is vrijwel zeker een bot. Deze informatie wordt gebruikt om nieuwe kwaadwillende bots te identificeren en toe te voegen aan een database van bekende overtreders.
De technische implementatie maakt gebruik van Workers AI met een open source model om unieke HTML paginas te genereren over verschillende onderwerpen. Om de prestaties niet te beïnvloeden worden deze paginas vooraf gegenereerd en opgeslagen in R2 voor snelle toegang. De gegenereerde content bevat echte wetenschappelijke feiten om desinformatie te voorkomen, maar is niet relevant voor de beschermde website.
Het activeren van AI Labyrinth is eenvoudig en vereist slechts één druk op de knop in het Cloudflare dashboard. Het systeem begint direct te werken zonder verdere configuratie. De technologie bouwt voort op het concept van honeypots, dat al sinds 1986 wordt gebruikt om hackers te vangen. Project Honeypot, opgericht in 2004 door de latere oprichters van Cloudflare, maakte deze techniek breed toegankelijk.
Cloudflare ziet dit als een eerste stap in het gebruik van generatieve AI om bots tegen te gaan. In de toekomst wil het bedrijf de gegenereerde links nog moeilijker detecteerbaar maken en beter laten aansluiten bij de structuur van de websites die ze beschermen. Klanten kunnen nu al deelnemen aan deze ontwikkeling door AI Labyrinth in te schakelen via hun dashboard.
