După ce a făcut o copie completă a tot ce a reușit să găsească, el părăsește site-ul dvs., până la următoarea vizită. După cum înțelegeți, după o astfel de rumare în baza indexului motorului de căutare, tot ceea ce este necesar și tot ceea ce nu este necesar a rămas în cale. Ceea ce trebuie să știți este articolele și paginile dvs. Dar ce trebuie să indiceți? Se pare că toate acestea sunt informații despre serviciu și mai întâi toate fișierele WordPress-ului nostru preferat. Copii ale articolelor și paginilor din arhive dau impresia că aveți atât de multe articole cu aceleași texte. Fotografiile decorate în articole separate (acestea sunt în această formă fără text și descrieri arata absolut incorecte).
Acum, după ce sa spus, se ridică o întrebare rezonabilă: "Este posibil să interzicem indexarea ceva care nu este necesar?". Se pare că poți. Cel puțin nu în ordine, ci în consultanță. Ei bine, asta înseamnă că nu putem scăpa de indexarea completă, dar vă recomandăm să nu afișați câmpuri și fișiere ale site-ului nostru în interogări de căutare.
Numai este necesar să se ia în considerare caracteristicile dosarului:
Acum, să analizăm în detaliu:
1 - 14 blochează setările pentru toate roboții
User-agent: * - Aceasta este o directivă obligatorie, iar asteriscul spune că directiva este pentru roboții tuturor motoarelor de căutare.
Nu permiteți: - directivă care interzice indexarea dosarelor sau a fișierelor specifice. În exemplul nostru, folosind numele dosarelor și al măștilor de nume de fișiere, a fost făcută o interdicție asupra tuturor dosarelor de serviciu ale wordpress.
Permite: - directivă care să permită indexarea dosarelor sau a fișierelor. Este util să folosiți când există fișiere în profunzimea dosarelor interzise, care trebuie încă indexate.
15 - Un șir gol.
16 - 30 bloc de setări specific pentru Yandex (User-agent: Yandex).
31 - Un șir gol.
32 - numele domeniului site-ului dvs. (directivă obligatorie)
Gazdă: poate fi oriunde, dar este mai bine să o puneți la sfârșitul fișierului, ca în exemplul nostru.
33 - Un șir gol.
Acum un pic cum ar fi crearea de măști:
Dezactivați: /wp-register.php - Împiedică indexarea fișierului wp-register.php din directorul rădăcină.
Dezactivați: / wp-admin - dezactivează indexarea conținutului directorului wp-admin aflat în dosarul rădăcină.
Dezactivați: / trackback - închide notificările din index
Dezactivați: / wp-content / plugins - dezactivează indexarea conținutului folderului de pluginuri aflat în subfolderul (folderul al doilea nivel) al conținutului wp.
Nu permiteți: / feed - interzice indexarea canalului de alimentare, adică. închide fluxul RSS al blogului.
* - înseamnă orice secvență de caractere, prin urmare, poate înlocui ca un caracter și o parte din nume sau complet numele unui fișier sau folder. Absența unui nume specific la sfârșit este echivalentă cu scrierea *.
Dezactivați: *? S = - nu permite indexarea paginilor de căutare
Având în vedere că există o mulțime de motoare de căutare și toate acestea nu funcționează exact la fel, atunci aceleași blocuri ca și pentru Yandex, este logic să vă înregistrați pentru câteva motoare de căutare bine cunoscute. Numele de blocuri pentru Mail.Ru, StackRambler, Googlebot, googlebot-image, googlebot-mobile, Aport, msnbot, psbot, yahoo-slurp sunt prezentate mai jos:
User-agent: *
Disallow:
Agent-utilizator: Yandex
Disallow:
Agent-utilizator: Mail.Ru
Disallow:
Agent-utilizator: StackRambler
Disallow:
User-agent: Googlebot
Disallow:
User-agent: googlebot-imagine
Disallow:
Agent-utilizator: googlebot-mobile
Disallow:
Agent utilizator: Aport
Disallow:
Agent-utilizator: msnbot
Disallow:
Agent-utilizator: psbot
Disallow:
Agent-utilizator: yahoo-slurp
Disallow:
Trimiteți-le prietenilor: