Mulți webmasteri (inclusiv mine), pentru a accelera indexarea paginilor de către motoarele de căutare, adaugă linkuri către paginile site-urilor lor din Twitter și facebook. Unii fac acest lucru manual, alții cu programe și servicii, prin adăugarea de feeduri RSS, etc.
Rezultatul este un adevărat mini-ddos, când în doar câteva secunde acești botnici primesc zeci și sute de pagini de pe serverul tău. Iar acești roboți, vreau să observ, nu sunt de folos, cu excepția faptului că încărcarea pe serverul dvs. nu dă.
Dar acest lucru este totul, așa cum se spune "nu principalul lucru". Principalul lucru este că, atunci când monitorizăm în detaliu jurnalele, a fost dezvăluit faptul că există un număr mare de solicitări din partea "stânga". Interzicerea acestora cu IP nu are sens, pentru că mulți oameni au schimbat-o adesea. Și apoi am găsit o soluție care încă salvează în mod corect și în siguranță site-urile mele de la o mulțime de robot zabalbyvayuschih și, prin urmare, reduce foarte mult sarcina pe server.
Fișierul .htaccess a fost creat în folderul rădăcină al site-ului cu următorul conținut:
ordinea permite, respinge
permiteți tuturor
# Apoi, lista de utilizatori la care refuzăm accesul
SetEnvIfNoCase User-Agent JS-Kit Bad_Bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase Biblioteca utilizator-Agent bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase Utilizator-agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Nici unul bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase Crawler User-Agent bad_bot
Ordine Permite, Neagă
Permiteți tuturor
Neagă de la env = bad_bot
Tocmai luăm din aceste date o bucată din numele botului, îl vom avea "bingbot" și vom adăuga următoarea linie în lista noastră în fișierul .htaccess:
SetEnvIfNoCase User-Agent bingbot bad_bot
Dacă utilizatorul pe care doriți să îl blocați accesul la numele site-ului este format din două cuvinte, atunci trebuie doar să fie introduse în ghilimele. De exemplu, site-ul este setat de bot cu utilizatorul:
Mozilla / 5.0 (compatibil; Crawler SISTRIX; httr: //crawler.sistrix.net/)
Vom scrie în .htaccess următoarea combinație:
Articole similare
Trimiteți-le prietenilor: