Salvați datele din fișierul "robots.txt" și copiați-l în dosarul rădăcină al site-ului.
Ce este instrumentul "Generator Robots.txt"?
Serviciul cy-pr.com vă prezintă instrumentul "Generator robots.txt", prin intermediul căruia puteți crea un fișier robots.txt online în câteva secunde și, de asemenea, puteți interzice indexarea paginilor site-ului de către anumite motoare de căutare.
Ce este robots.txt?
Robots.txt este un fișier care se află în rădăcina site-ului și conține instrucțiuni pentru boturile de căutare. Mergând la orice resursă, roboții încep să se familiarizeze cu fișierul robots.txt - un fel de "instrucțiuni de utilizare". Editorul indică în acest fișier modul în care robotul trebuie să interacționeze cu resursa. De exemplu, aceasta poate conține interzicerea indexării anumitor pagini sau recomandarea de a respecta intervalul de timp dintre salvarea documentelor de la un server web.
Webmasterul poate impune interzicerea indexării motoarelor de căutare roboți Yandex, Google, Mail.ru, Rambler, Bing sau Yahoo. și, de asemenea, să stabilească un interval de timp între tranzițiile crawlerului la paginile de resurse și să interzică indexarea paginilor site-ului selectate. În plus, într-o linie specială, puteți indica motoarelor de căutare calea către harta site-ului (sitemap.xml).
După ce completați toate câmpurile instrumentului și faceți clic pe butonul "Creați", sistemul va genera automat un fișier pentru motoarele de căutare, pe care va trebui să le plasați în zona de rădăcină a site-ului dvs.
Rețineți că fișierul robots.txt nu poate fi utilizat pentru a ascunde pagina din rezultatele căutării, deoarece alte resurse pot fi menționate la aceasta, iar crawlerele o vor indexa cumva. Vă reamintim că o etichetă specială "noindex" sau o parolă este utilizată pentru a bloca pagina în rezultatele căutării.
De asemenea, merită remarcat faptul că, folosind instrumentul "Generator Robots.txt", veți crea un fișier de natură recomandatorie. Bineînțeles, roboții "ascultă" instrucțiunile rămase pentru ei de către webmasterii din fișierul robots.txt, dar uneori sunt ignorați. De ce se întâmplă acest lucru? Deoarece fiecare robot de căutare are propriile setări, conform cărora interpretează informațiile primite din fișierul robots.txt.
Articole similare
Trimiteți-le prietenilor: