Despre robots.txt
Fișierul robots.txt este un fișier text care prescrie reguli pentru motoarele de căutare pentru scanare, ceea ce înseamnă indexarea dosarelor și fișierelor de site. Fișierul robots.txt este localizat în directorul rădăcină al site-ului. Fișierul robots.txt împreună cu Sitemap Sitemap sunt principalele documente Optimizarea SEO a blogurilor făcute pe CMS WordPress.
- Important! Linii goale nevalide între directivele "User-agent" și "Disallow" ("Permite"), precum și între directivele "Disallow" și "Permite".
- Important! Adresa URL a fișierului robots.txt este sensibilă la minuscule.
Pe versiunea de bază, fișierul robots.txt pentru wordpress arată astfel:
User-agent: *
Împiedicați: / wp-admin /
Împiedicați: / wp-include /
- Agentul utilizator este referința la motoarele de căutare. [*] o stea, înseamnă că următoarele directive de grup sunt adresate tuturor motoarelor de căutare;
- Directiva Disallow împiedică motoarele de căutare să indexeze numai ceea ce este în / wp-admin / și / wp-include / foldere.
Fișierul robots.txt este alcătuit din șiruri de caractere, fiecare dintre acestea fiind o directivă separată. Directiva sau pur și simplu o regulă este scrisă pentru motoarele de căutare. Întregul fișier robots.txt este scris utilizând o sintaxă simplă specială.
Sintaxă pentru robots.txt
Prima directivă de lucru pentru fișierul robots.txt (începutul grupului) este de a scrie directiva [User-agent]. Acesta arată căruia îi aparține motorul de căutare următoarele directive;
Transferul nevalid al liniilor goale între direcțiile [User-agent] și [Disallow] ([Permite]);
[User-agent] cu o stea. adică [User-agent: *], înseamnă că regulile robots.txt se aplică tuturor motoarelor de căutare;
Pentru principalele motoare de căutare Yandex și Google, directivele "User-agent" ale fișierului robots.txt trebuie citite după cum urmează:
Regulile pentru motoarele de căutare sunt prescrise de directivele "Disallow" - interzicerea sau "permiterea" soluției;
Orice fișier robots.txt trebuie să conțină directiva "Disallow";
Golire "Disallow" permite indexarea întregului site, "Disallow" slash-ul închis (/) închide complet site-ul de la indexare.
Compuneți un fișier robots.txt pentru wordpress-uri
Ce ar trebui să ne ascundem de motoarele de căutare?
Exprimați în mod rezonabil toate dosarele cu informații personale, parole, logare etc. Acestea sunt trei dosare. Directivele arată astfel:
Toate pluginurile de blog, temele, memoria cache nu sunt conținutul blogului, așa că și ele se ascund.
În același mod, puteți dezactiva indexarea oricărui folder sau a unui fișier blog. Pentru a interzice indexarea fișierelor, de exemplu .pdf, trebuie să scrieți o directivă:
Caracterul special "*" înseamnă orice, inclusiv secvența de caractere goale.
În fișierul robots.txt există o directivă interesantă specială pentru Yandex. Aceasta este directiva gazdă. Cu ajutorul dvs. puteți (ar trebui) să-i spuneți Yandex domeniului principal (principala oglindă) a blogului dvs. Directivele gazdă din dosar trebuie să fie una. Dacă faceți mai multe directive Gazdă, citiți primul din listă. Adevărat, pentru aceasta trebuie să creați o secțiune separată pentru "User-agent" pentru Yandex.
Trebuie să includeți informații despre sitemap-ul dvs. în fișierul robots.txt.
Harta site-ului trebuie generată utilizând orice instrument Web Sitemap. Acesta generează patru formate ale hărții site-ului. Unul dintre ele, fișierul format [.xml], trebuie mai întâi încărcat în rădăcina site-ului și apoi inclus în fișierul robots.txt. În cazul în care site-ul hărți mai multe descărcați toate. Vă recomandăm două Sitemap generatoare:
Dacă vedeți o încărcare mare pe serverul dvs., puteți utiliza directiva "întârzierea accesării cu crawlere". Acesta va seta timpul în milisecunde, între două încărcări de pagină. Adăugați directiva "Întârzierea accesării cu crawlere" imediat după "User-agent".
În general, modificarea fișierului robots.txt pe site-ul WordPress este o lucrare creativă. Fiecare fișier robots.txt trebuie să fie individual și să îndeplinească cerințele dvs. personale de căutare.
Robots.txt pentru wordpress: exemplu
Voi da, așa cum mi se pare, un fișier rezonabil robots.txt pentru wordpress
Explicații la fișier
Acest fișier robots.txt pentru wordpress conține o instrucțiune dedicată pentru motorul de căutare Yandex. În această parte a fișierului se adaugă o directivă specială de gazdă, care este citită numai de boturile Yandex și definește oglinda principală a site-ului. Nu ar trebui să existe două direcții gazdă în fișierul robots.txt.
Fișierul robots.txt citat este privat și este făcut pentru cerințe individuale.
Link-uri utile
Pe acest fișier pro robots.txt pentru wordpress totul!
Alte articole din secțiunea: CMS WordPress
Navigare după înregistrări
Articole similare
Trimiteți-le prietenilor: