Faceți fișierul corect pentru wordpress

Salutări pentru tine, prieteni. Vom aborda astăzi compilarea fișierului Robots.txt corect pentru blogul WordPress. Fișierul Robots este un element-cheie al optimizării interne a site-ului, deoarece acționează ca un ghid pentru motoarele de căutare care vizitează resursele dvs.

Numai numele fișierului robots.txt ne spune că este destinat pentru roboți, nu pentru oameni. În articol despre cum funcționează motoarele de căutare. Am descris algoritmul muncii lor, dacă nu am citit, recomand să citesc.

De ce am nevoie de un fișier robots.txt?

Imaginați-vă că site-ul dvs. este o casă. În fiecare casă există spații de birouri diferite, cum ar fi un cazan, o cămară, o pivniță, în unele camere există colțuri secrete (în siguranță). Toate aceste spații secrete nu trebuie să vadă, sunt destinate numai gazdelor.

Exemple de astfel de domenii de servicii sunt - admin site-ul, foldere cu tematici, scripturi, etc.

Motoarele de căutare pe Internet se pot confunda pur și simplu în toată varietatea acestor pagini și înțeleg greșit ceea ce ar trebui prezentat în SERP. După închiderea unor secțiuni și deschiderea altora, vom da recomandări fără echivoc robotilor privind indexarea corectă a unui site. iar în căutare vor fi acele pagini pe care le-am conceput pentru utilizatori.

Dacă nu aveți un fișier Robots.txt configurat corect, atunci există 2 opțiuni:

1. În problema de porridge va veni de la tot felul de pagini cu relevanță dubioase și unicitate scăzută.

2. Motorul de căutare va lua în considerare întregul site al terciului dvs. și va impune sancțiuni asupra acestuia, eliminând întregul site sau părțile sale din emisiune.

Are mai multe funcții, îi voi spune despre ei în deplasare.

Cum funcționează un fișier robot?

Lucrarea din dosar este construită numai pe 3 elemente:

Selectați un crawler
Interzice indexarea partițiilor
Permite indexarea partițiilor

1. Cum să specificați robotul de căutare

Cu ajutorul directivei User-agent, se specifică numele robotului, pentru care se vor aplica regulile care urmează. Se folosește în acest format:

În conformitate cu cele mai recente cerințe ale motorului de căutare, este necesar să se deschidă accesul la stiluri și scripturi. În aceste scopuri, în 12, 13 și 14 rânduri, atribuim permisiunea de a indexa dosarul cu șablon de site, plug-in-uri și scripturi Java.

Apoi, am 2 blocuri care deschid folderul cu imagini pentru robotii YandexImages și Googlebot-Image. Nu le puteți aloca separat, dar directiva permisivă pentru dosarul cu imagini ar trebui mutată mai sus cu 15 rânduri, astfel încât toți robotii să aibă acces la imaginile site-ului.

Dacă nu am folosit pachetul All-in-One-Seo-Pack, aș adăuga o regulă care închide arhivele (Disallow: * / 20) și etichetele (Disallow: * / tag).

Dacă utilizați căutarea standard a site-ului din WordPress, ar trebui să introduceți o directivă care să închidă paginile de căutare (Disallow: *? S =). Și mai bine, setați căutarea Yandex pe site. așa cum se face pe blogul meu.

Acordați atenție celor 2 reguli:

1. Toate directivele pentru un robot merg într-un rând fără a lipsi liniile.

2. Blocurile pentru diferite roboți trebuie să fie separate printr-o linie goală.

În final, există directive pe care nu le-am considerat anterior - este gazdă și sitemap. Ambele directive sunt numite intersecționale (pot fi scoase din blocuri).

Gazdă - indică oglinda principală a resursei. Este necesar să specificați ce domeniu este principalul pentru site-ul dvs. - cu sau fără www. Dacă site-ul are mai multe oglinzi, atunci și în fișierele lor, trebuie să setați principalul lucru. Această orientare este înțeleasă numai de Yandex.

Un sitemap este o directivă care specifică calea către harta XML a site-ului dvs. Este înțeles atât de Google, cât și de Yandex.

Adăugări și confuzii

1. Unii webmasteri fac un bloc separat pentru Yandex, duplicând complet cel general și adăugând o directivă gazdei. Se pare că, în caz contrar, yandex poate să nu înțeleagă. Acest lucru este inutil. Fișierul meu robots.txt este cunoscut de căutător pentru o lungă perioadă de timp, și îl orientează perfect, îndeplinind complet toate instrucțiunile.

2. Este posibil să se înlocuiască mai multe linii care încep cu o wp Disallow directivă: / wp-, nu am făcut acest lucru, pentru că mi-e teamă - dintr-o dată am un articol incepand cu wp, dacă sunteți sigur că blog-ul dvs. nu conține astfel de , tăiați cu îndrăzneală codul.

3. Reindexarea fișierului robots.txt nu are loc imediat, prin urmare, motoarele dvs. de căutare pot observa schimbările dvs. numai după câteva luni.

4. Google vă recomandă să deschideți accesul la roboții dvs. pentru fișierele tematice și scripturile site-urilor, webmasterii înfricoșătoare cu posibile sancțiuni pentru nerespectarea acestei reguli. Am efectuat un experiment în care am evaluat cât de puternic această cerere afectează poziția site-ului în căutare - detaliile și rezultatele experimentului sunt aici.

Fișierul corect Robots.txt pentru WordPress este aproape un document șablon și forma sa este aceeași pentru 99% din proiectele create pe acest motor. Maximul necesar pentru un webmaster este de a face reguli individuale pentru șablonul utilizat.

Alte articole utile despre blog:

All in One SEO Pack - setarea corectă a unui plug-in funcțional SEO pentru WordPress
Căutare Yandex pe site-ul: Ce este necesar și cum se instalează?
DDoS atac - ce este? Cum de a găsi surse și de a proteja site-ul de DDoS?
Hyper Cache - configurarea și utilizarea pluginului pentru paginile de cache din WordPress
Cum de a scrie articole pentru a vă rugăm să Yandex?
Cum de a elimina definitiv ReplyTocom în WordPress? Scapa de paginile duplicate

Viața nu se oprește, postul a fost scris cu mult timp în urmă.
Dar acestea sunt mici lucruri. Roboții dat aici respectă pe deplin toate regulile și nu induc în eroare pe cineva care citește cu atenție scopul tuturor liniilor.
Dacă vă acordați atenție diferențelor, veți vedea că acestea sunt nesemnificative:
- Am eliminat regulile separate pentru roboții kartinochnyh Yandex și Google și le-au combinat cu o unitate comună pentru toate roboți - cei mai buni nu știu, corect, și așa mai departe și așa mai departe.
- pentru solicitarea unui recent Google, are acces la dosare, teme și script-uri, nici o schimbare în locațiile de indexare și site-ul au fost raportate, așa că nu știu dacă să le recomande la descoperirea tuturor.
- Am interzis reguli pentru unele roboți care nu aparțin lui Yandex sau Google. Am decis că nu trebuie să vizitez site-ul meu, maximul pe care îl afectează - sarcina de găzduire, din nou, regulile nu sunt obligatorii și fără a fi nevoie să le punem nu recomand.

După câteva luni, se poate schimba ceva, de exemplu, vor exista unele bot enervant, pe care vreau să scap sau pe site-ul meu pentru a adăuga un dosar, pe care nu vreau să arate motoarele de căutare - aceasta nu înseamnă că va trebui să adăugați lor legate de reguli pentru toate site-urile Internet.

În general, am 16 linii + două URL-uri de blog-uri = 18. Am cumpărat un plug-in inteligent și el însuși a generat roboți și a ascuns mult fără probleme. Tocmai am adăugat câteva titluri pe care le am pentru nofollows și noindex. Dar ele sunt indexate cumva de Yasha. De asemenea, o lungime de experiment ... până când vă spun, atunci vă spun.

Câștiguri rapide pe Internet

Aici câștigați bloggeri

Ultimele articole din blog

Articole similare

Pagina anterioară

Pagina următoare