Asertiv ahrefsbot-s - blog dimax - a

Asertiv AhrefsBot-s

Dacă ferma are mai multe site-uri în zeci sau chiar sute de mii de pagini dinamice, ar trebui să aibă grijă de sine în prealabil și de altfel se proteja de backlink-uri de monitorizare a serviciului ahrefs.com, și mai precis, de la boti sale sunt îngrămădite pe site-urile mari, uneori atât de rapid și nemilos, care poate trimite instantaneu găzduirea într-un knockout profund.

Pentru a obține acest necaz, trebuie să faceți următoarele:

1. În site-ul robots.txt adăugați:

Agent-utilizator: AhrefsBot
Nu permiteți: /

2. În fișierul .htaccess din rădăcina site-ului se adaugă:

Citiți și:

Și există încă o astfel de creatură ca Updowner.com

Și există încă o astfel de creatură ca Updowner.com

De asemenea, botii își pun găzduirea?

Și dacă hoster nu blochează el însuși acest nonsens?

Și dacă hoster nu blochează el însuși acest nonsens?

Unii hosteri pentru blocul sigur, dar, cred, nu toate. Și mulți care au chiar și câteva site-uri mari, nu le păstrează pe virtual hosting, ci pe VPS sau dedicate, și trebuie să se administreze singuri.

Și există o modalitate de a stabili o regulă, astfel încât dintr-un ip să existe, să zicem, nu mai mult de 200 de hit-uri pe zi?

Și există o modalitate de a stabili o regulă, astfel încât dintr-un ip să existe, să zicem, nu mai mult de 200 de hit-uri pe zi?

Desigur, există, dar este deja necesar ca profesioniștii în administrarea serverului să afle că nu știu cum să fac asta.

Dimax, prima metodă este eficientă. pentru că atunci când se utilizează al doilea (prin .htaccess) pentru a robots.tht bot teribil nu ajunge - Apache nu va da acces.

Dimax, prima metodă este eficientă. pentru că atunci când se utilizează al doilea (prin .htaccess) pentru a robots.tht bot teribil nu ajunge - Apache nu va da acces.

Ha, și într-adevăr, nu m-am gândit la asta

Pe de altă parte, toate, probabil, știu că directivele robots.txt sunt doar cereri, în general, nu legea, botul poate asculta ei, dar poate că nu. Prin urmare, este obligatoriu să se elibereze mai eficient 403 bot, în teorie.

Am găsit articolul destul de accidental. Dar dyuzhe era relevant. Mă mențin un site web al subiectelor auto, un magazin online, paginile nu pot fi numărate, deoarece umplerea a fost făcută automat din piese de schimb. Acum știu cum să mă descurc cu flagelul!

Trimiteți-le prietenilor: