Verifiera om en IP-adress och User-Agent verkligen tillhör Googlebot, Bingbot, OpenAI SearchBot, Yahoo, Seznam, Meta (Facebook), Qwant, DuckDuckGo och andra stora crawlers.
Leverantörens JSON-flöden cachas i 12 timmar; Yandex & Seznam använder statiska officiella CIDR.
Det verkliga beviset är IP-adressen: en crawler är betrodd först när dess IP faller inom de officiella CIDR-intervallen som publicerats av leverantören. User-Agent kan hjälpa, men den är lätt att förfalska; scrapers kopierar ofta UA-strängar medan de kommer från slumpmässiga nätverk. Om IP:n inte är i leverantörens intervall, flaggar vi förfrågan oavsett vad UA:n säger.
Ja, både IPv4- och IPv6-nätverk stöds fullt ut.
Varje förfrågan från livedemo-gränssnittet förbrukar samma antal krediter som ett direkt API-anrop.