Bot-Manager

Ushbu modul taniqli indekslovchi/monitoring botlarni (masalan, Googlebot, Bingbot, DuckDuckGo, Applebot va b.) boshqarish, ishga ruxsat berish (Allow) yoki to‘sish (Block) mavjud

1) UI elementlari va ma’nolari

Domen tanlash

Sahifa boshidagi DOMEN dropdown — aynan qaysi domen uchun bot siyosatini qo‘llashni bildiradi.

Hisoblagichlar

  • Jami botlar – katalogdagi bot yozuvlari soni (hozir 13).

  • Faol – shu domenda holati belgilangan (Allow/Block) botlar.

  • Standart botlar – katalogga oldindan kiritilgan botlar.

  • Maxsus botlar – (kelajak funksiyasi) qo‘lda yaratiladigan yozuvlar.

Filtrlar

  • Rejim: barchasi / faqat Allow / faqat Block.

  • Tip: Hammasi / Standart / Maxsus.

  • Qidiruv: nom, vendor yoki User-Agent bo‘yicha.

Jadval ustunlari

  • BOT – bot identifikatori (masalan, adsbot_google, bingbot).

  • UA shabloni – mos keladigan User-Agent namunalari (AdsBot-Google, bingbot, facebookexternalhit …).

  • Reverse DNS – rasmiy domen suffikslari (googlebot.com, search.msn.com, duckduckgo.com, applebot.apple.com, facebook.com …).

  • ASN / CIDR – (bo‘lsa) vendorning avtonom tizimi yoki prefikslari (masalan, Google 15169, Microsoft 8075, Facebook 32934).

  • HolatAllow yoki Block (bir klikda almashadi).


2) Ishlash tamoyili (klassifikatsiya)

Bot Manager botni quyidagilar orqali tasdiqlaydi:

  1. User-Agent shabloni (masalan, Googlebot/…, bingbot/…).

  2. Reverse DNS suffiksi (masalan, *.googlebot.com → keyin forward tekshiruv bilan IP aynan shu domenga qaytishi).

  3. (Ixtiyoriy) ASN/CIDR mosligi (masalan, Google=15169, Microsoft=8075, Facebook=32934).

Tavsiya: haqiqiy botlarni UA + RDNS suffiks + forward tekshiruv bilan tasdiqlang. Faqat UA’ga ishonib qolmang — ko‘plab “fake botlar” UA’ni soxtalashtiradi.


3) Action’lar

  • Allow – bot so‘rovlari WAF’dan o‘tadi (xavfsizlik qoidalari baribir ishlaydi). Zarurat bo‘lsa, alohida rate-limit siyosatlarini saqlab qoldiring.

  • Block – bot so‘rovlari to‘xtatiladi (default javob odatda 403; bloklashga oid global sozlamangizga ko‘ra farq qilishi mumkin).

Ustuvorlik: Bot Manager qarori WAF policy matchingdan oldin klassifikatsiyani belgilaydi; ammo yakuniy yakun — WAF qoidalari. Masalan, Allow bo‘lgan bot XSS payload yuborsa, baribir bloklanadi.


Last updated