Directiva "Disallow" este necesară pentru ca acest robot să-i permită să indexeze un fișier sau un dosar.
Exemplu care permite indexarea pentru a căuta roboți:
Următorul exemplu interzice indexarea unui site pentru toate motoarele de căutare:
Dacă trebuie să închideți o anumită pagină din indexare:
User-agent: *
Împiedicați: /stranitsa.html
Pentru a bloca directoarele și tot conținutul acestora:
User-agent: *
Nu permiteți: / cgi-bin /
Nu permiteți: / images /
Dar nu faceți o greșeală dacă nu introduceți "/" după numele folderului, de exemplu, faceți acest lucru:
User-agent: *
Nu permiteți: / imagini
atunci toate fișierele și directoarele vor fi interzise din caracterele "imagine".
Direcția Permite funcționarea directă opusă Disallow.
Se adaugă directiva gazdă pentru a indica oglinda principală a site-ului dvs.:
Agent-agent: Google
Disallow:
Gazdă: site.com
Agent-agent: Google
Disallow:
Gazdă: www.site.com
Direcția Sitemap - harta site-ului - indică locația hărții site-ului XML:
În cazul în care în resursa dvs. există o duplicare de pagini (cel mai adesea o astfel de situație apare în bloguri) și este necesar să eliminați aceste pagini de la indexarea inserați eticheta META Roboti în eticheta "HEAD":
În acest caz, toți roboții de căutare ai oricărui sistem vor uita de existența acestor pagini, iar motoarele de căutare nu vor primi pagini duplicate, ceea ce ar putea avea un impact negativ asupra progresului.
Proiectele create folosind CMS au un număr mare de fișiere necesare în lucrare, dar nu au nici o informație în sine. Este necesar să se interzică indexarea acestora, din cauza pierderii timpului pentru controlul gunoiului inutil, în locul paginilor obligatorii.
Fișierul robots.txt corect
Din moment ce blogul meu este creat folosind WordPress, voi descrie exemplul meu de fișier. În general, Wordpress în sine creează în mod automat robots.txt, dar pierde o mulțime de necesare.
Articole similare
Trimiteți-le prietenilor: