Blocați roboții nedorite
În fiecare zi, site-urile noastre ocolește o varietate de roboți, nu fac nimic și creează o sarcină suplimentară pe server. Cu siguranta, unii dintre voi a trebuit sa se ocupe de situatia in care hosterul a blocat site-ul dvs. din cauza volumului de lucru exorbitant de pe server. Această situație poate apărea în cazul unei vizite necontrolate la paginile site-ului dvs. de către diferiți roboți. Dacă utilizați un server dedicat, puteți plăti suplimentar costul traficului și al altor resurse server - procesor sau memorie.
Pentru a evita această situație, în primul rând, trebuie să setați statistici de vizite pe site-ul dvs. Apoi, trebuie să luați măsuri tehnice pentru a bloca roboții nedorite. Dacă site-ul dvs. rulează serverul web Apache, îl puteți face folosind modulele mod_rewrite sau mod_setenvif.
Blocarea robotilor folosind mod_rewrite.
Creați o regulă în fișier. htaccess următoarele:
Ultima linie a exemplului specifică ce trebuie făcut când robotul cere acces.
Expresia obișnuită '^. * $' Înseamnă "Accesul la toate fișierele este interzis".
interzice accesul crawler numit SearchBot
- NC - nu este cazul.
- SAU înseamnă "sau următoarea condiție".
Steagul NC vă permite să ignorați cazul caracterelor din șirul de căutare.
Această linie specifică faptul că atât searchbot, cât și SearchBot vor fi recunoscute ca expresii identice.
Dacă utilizați modulul mod_setenvif. regulile vor arăta astfel:
Articole similare
Trimiteți-le prietenilor: