În legătură cu o mulțime de întrebări privind indexarea corectă a site-urilor bazate pe DLE, stabiliți regulile pentru crearea robots.txt pentru DLE.
Crearea robotx.txt pentru dle.
situație:
Yandex indexează paginile pentru imprimare (tipărire.) Și, în timp util, aruncă știri, pentru care paginile de imprimare corespund.
rezultat:
În timp, site-ul din indexul de căutare este aproape o colecție continuă de pagini pentru imprimare.
problemă:
Pentru schimburile de link-uri, este dificil de a vinde link-uri din aceste pagini.
soluţie:
Interzicem paginile pentru imprimare:
User-agent: *
Nu permiteți: / * imprimare
situație:
Paginile / utilizatorul / sunt indexate. Spamatorii "împing" paginile pe profilurile lor. acestea din urmă conțin legături externe (spam).
soluţie:
Interzicere / utilizator /:
Nu permiteți: / * imprimare
situație:
Pagini indexate care nu conțin conținut.
rezultat:
Oricum, în timp, încărcarea inutilă a robotului de căutare, directive inutile.
soluţie:
Interzicem astfel de directoare:
Dezactivați: / backup /
Nu permiteți: / motor /
Nu permiteți: / language /
Dezactivați: / șabloane /
Dezactivați: / upgrade /
Nu permiteți: / încărcări /
Nu permiteți: /autobackup.php
Dezactivați: /admin.php
PS: în funcție de dosarele implicite, care sunt prezente în diferite panouri de găzduire (de exemplu, cgi-bin dosar) și dosarele care urmează să fie adăugate pe cont propriu nevoie, nu uitați să le introduceți.
Lipiți în fiecare dintre site-urile dvs., nu fi leneși și totul va fi bine.
Versiunea 2.0.101. Chiar mai rău, chiar mai misantrop.
Articole similare
Trimiteți-le prietenilor: