בדקו האם כתובת IP ו-User-Agent באמת שייכים ל-Googlebot, Bingbot, OpenAI SearchBot, Yahoo, Seznam, Meta (Facebook), Qwant, DuckDuckGo וסורקים מרכזיים אחרים.
פידי JSON של ספקים נשמרים במטמון 12 שעות; Yandex ו-Seznam משתמשים ב-CIDR רשמיים סטטיים.
ההוכחה האמיתית היא כתובת ה-IP: סורק נחשב אמין רק כאשר ה-IP שלו נופל בטווחי ה-CIDR הרשמיים שפורסמו על ידי הספק. ה-User-Agent יכול לעזור, אבל קל לזייף אותו; גורדים לעתים קרובות מעתיקים מחרוזות UA בעוד הם מגיעים מרשתות אקראיות. אם ה-IP לא בטווח הספק, אנו מסמנים את הבקשה ללא קשר למה שה-UA אומר.
כן, רשתות IPv4 ו-IPv6 נתמכות במלואן.
כל בקשה מממשק ההדגמה החיה צורכת את אותו מספר קרדיטים כמו קריאת API ישירה.