Blocați boturile de căutare Ahrefs Bot și Semrush Bot sau cum să reduceți sarcina pe server
Pe hostingul preferat. în tariful meu ieftin există restricții asupra încărcării pe server și într-o zi am primit o scrisoare de la hostess, cum ar fi reducerea încărcării pe server, analizarea jurnalelor, poate că unele scripturi funcționează incorect. Câteodată m-am gândit că, ca și cum nimic nu s-ar fi schimbat, înainte ca hostessul să nu se plângă de sarcina crescută. M-am gândit că din nou un cod rău intenționează cu procesorul, verificat cu un a-bolit. ca totul este bine, nu se gaseste nimic suspect. Ajutați-vă în jurnalul de bord, așa cum a sugerat hostessul. Și acolo a descoperit că au fost multe cereri de la diverse site-uri de căutare, inclusiv de la unele până la sate necunoscute: Ahrefs Bot și Semrush Bot, numărul cererilor a fost de până la 40% din numărul total de cereri. În plus, hackerii caută fișiere rău intenționate șterse anterior, mai mult decât atât, ca și când ar fi frică să săriți ceva)))
Am citit recomandări cu privire la ce să fac cu asta și asta am săpat:
1. În fișierul robots.txt, trebuie să împiedicați boturile de căutare să scaneze site-ul:
Deoarece nu știu, jurnalele indică numele botului, ca SemrushBot / 1.1
bl și AhrefsBot / 5.1, atunci cred că nu va fi superfluă prescrierea acestor roboți. Desigur, este păcat că dacă botul este blocat folosind numele unic al tipului de bot AhrefsBot / 5.1, se pare că dacă schimbați numărul 5.1, botul va trebui să fie re-atribuit în robots.txt
2. Blocarea robotilor în htaccess:
Trimiteți la rețeaua socială
Trimiteți-le prietenilor: