Ce este robots.txt?
Robots.txt (protocolul de excludere a robotilor) - este un fișier text simplu, în care sunt prescrise instrucțiunile pentru roboți de căutare, secțiunile site-ului dvs. pot fi indexate și care nu sunt. Credeți sau nu, acesta este unul dintre cele mai importante fișiere în ceea ce privește SEO. De exemplu, nu doriți ca motoarele de căutare să indexeze directorul W-admin. care este în principal destinat utilizării interne și nu conține nicio informație pentru promovarea motorului de căutare.
Cum funcționează robots.txt?
Când un crawler accesează site-ul dvs., acesta caută mai întâi fișierul robots.txt și îl vede ca pe o instrucțiune.
De ce este util un fișier robots.txt?
- Dacă doriți ca motoarele de căutare să ignore paginile duplicate de pe site.
- Dacă doriți ca motoarele de căutare să nu indexeze anumite zone ale site-ului sau întregul site în ansamblu.
- Dacă doriți ca roboții să nu indexeze anumite fișiere de pe site-ul dvs. (imagini, PDF, etc.).
- Dacă doriți să spuneți boturilor de căutare unde este localizată harta site-ului (sitemap.xml).
Creați un fișier robots.txt.
Configurați fișierul robots.txt.
Să aruncăm o privire la exemplul fișierului meu și să aflăm de ce o voi edita.
Fiecare intrare din fișier începe cu User-Agent. ceea ce înseamnă pentru care regulile păianjenului de căutare sunt setate. Un asterisc, care este plasat mai departe (*), înseamnă că regulile sunt setate pentru toate motoarele de căutare. Pentru Yandex, este obișnuit să specificați un set separat de reguli (User-agent: Yandex). Deoarece numai pentru Yandex este indicată locația hărții site-ului și oglinda site-ului. În continuare, pentru fiecare rând este setată o interdicție (Disallow :) sau permisiune (Permite :) pentru a indexa zonele site-ului. De exemplu:
Dați-i pe Yandex să scaneze directorul wp-admin al site-ului dvs.
Cred că este de înțeles. Mergem mai departe.
Ce ar trebui să includ în fișierul robots.txt?
Aici, toată lumea decide pentru sine care zonă a site-ului se închide din indexare. Nu există un răspuns neechivoc. Eu, de multe ori mers pe jos în jurul site-uri și blog-uri, sunt interesați de fișier robots.tht. Toți au propriul protocol corect configurat. Principalul lucru este să vă asigurați că nimic nu împiedică motoarele de căutare să indexeze conținutul principal al site-ului dvs. Și rețineți că acest fișier îi sfătuiește pe bot numai ce să indice și ce nu. Nu toți roboții vor urma aceste instrucțiuni.
Erori la utilizarea robots.tht.
- Dacă configurați pentru prima dată un fișier robots.txt. atunci am putea face o serie de greșeli.
- A fost interzis site-ul dvs. să fie indexat. Când setați Dezactivați: / din greșeală, împiedicați păianjenii să indexeze site-ul. Robotul vine, vede lumina roșie și pleacă. Acest lucru duce la faptul că site-ul nu numai că nu este actualizat, ci dispare complet din problemă la timp.
- Nu interzice întotdeauna indexarea. Așa cum am menționat mai sus, pentru unii roboți acest fișier nu mai este un obstacol, duplicat pagini toate zboară în problema.
- Toate informațiile valoroase sunt expuse pentru spectacol. Există o opinie conform căreia oricine poate să vă deschidă site-ul /siterobots.txt și să vadă toate informațiile despre fișierele dvs. Aceste informații ar putea fi de interes pentru hackeri.
- Plasați mai multe directoare într-o singură linie. Dacă introduceți mai multe directoare într-o singură linie, fișierul robots.txt nu va funcționa corect. O linie este un director.
Cum de a testa robots.txt?
După ce ați terminat configurarea fișierului, este normal să îl verificați.
Vom verifica folosind panoul webmasterului Google și Yandex.
Google Checkout. În panoul webmasterului, parcurgeți calea: "Scanare - verificator fișier Robots.txt". Această pagină încărcă imediat protocolul dvs., care poate fi editat. Un cec pentru o interdicție sau permisiune este efectuat în același mod ca și în Yandex.
Ce se întâmplă dacă nu aveți un fișier robots.tht?
Fără acest fișier, motoarele de căutare vor fi libere să meargă în jurul tuturor directoarelor site-ului dvs., să scaneze și să indice tot ce găsesc acolo.
De ce voi edita fișierul robots.txt?
Recent am studiat cursul lui Alexander Borisov "Cum să devii blogger - Mii 3.0". Apropo, fac o reducere bună atunci când cumpăr pe link-ul meu. Vă rugăm să ne contactați. Deci, Alexandru oferă propria opțiune pentru configurarea robots.txt. Aici este:
Permiteți tuturor și specificați locația hărții site-ului este cea mai bună opțiune pentru majoritatea site-urilor web, care permite tuturor motoarelor de căutare să acceseze cu crawlere și să indexeze toate datele. Interdicția se aplică doar directoarelor principale:
Mai sus am spus că unele motoare de căutare ignoră regulile prescrise în fișierul robots.tht. Un astfel de motor de căutare este Google. Deși este aproape, deși nu este aproape, încă scanează și preia toate informațiile pentru indexare. Deci, există diferite tipuri de duplicate care pot duce eventual la moartea resurselor tale. După ce am studiat cursul, nu am creat imediat fișierul robots.txt.
Într-adevăr, au existat duplicate ale unor pagini din problemă, deși inițial am creat corect protocolul de interdicție pentru roboți. Acum voi instala fișierul în curând. În acest curs, Alexander spune tuturor în detaliu cum, ce, unde să apăsați pentru setarea corectă. Nu voi dezvălui toate secretele. Voi spune un lucru - chiar functioneaza. Dacă nu ați achiziționat un curs, vă recomand să îl faceți în viitorul apropiat.
Pur și simplu nu vă puteți numi SEO sau un marketer de internet decât dacă știți deja ce este un fișier robots.txt. Acesta determină modul în care motoarele de căutare văd site-ul dvs. Când configurați un fișier robot. txt, fiți conștienți de ceea ce faceți. În caz contrar, site-ul dvs. poate pur și simplu să dispară de pe Internet și nici nu veți ști de ce. Dacă nu știți cum să compilați fișierul robots.txt corect. consultați apoi un specialist pentru asistență. Pe asta am totul. Mult noroc în afaceri!
Articole similare
Trimiteți-le prietenilor: