Tweet pe Twitter
Roboții de motoare de căutare de la intrarea pe site se întorc mai întâi la fișierul robots.txt pentru a obține instrucțiuni pentru acțiuni ulterioare și pentru a afla ce fișiere și directoare sunt interzise de la indexare. Prin urmare, este extrem de important pentru webmaster să știe cum să scrie corect acest fișier, deoarece erorile din acesta pot duce la consecințe foarte dezastruoase. Încă o dată vom repeta și vom specifica faptul că fișierul robots.txt nu permite ca nimic să fie indexat, ci doar îl interzice. Și încă o nuanță. Nu este o indicație de 100% pentru roboții de căutare. Mai degrabă, se poate spune că este un document consultativ.
Fișierul robots.txt este un fișier obișnuit cu extensia txt, care este creat folosind Notepad și este localizat în directorul rădăcină al unui anumit site și care conține instrucțiuni de indexare pentru roboți de căutare. Instrucțiunile pot fi, ca și generale, și separate pentru roboți specifici.
Regulile de bază pentru crearea și descărcarea unui fișier robots.txt sunt:
- nu confunda numele, care este numit fișierul robots.txt, nu robot.txt și așa mai departe.
- scrieți numele fișierului robots.txt neapărat în litere mici, adică robots.txt, nu Robots.txt și ROBOTS.TXT și așa mai departe.
- plasați fișierul robots.txt în directorul rădăcină al site-ului și nu în alt loc.
User-agent: *
Împiedicați: / adminka /
Respingeți: / image /
Prima linie este "User-agent: *". Asteriscul din instrucțiunea User-agent indică faptul că această instrucțiune se aplică tuturor roboților de căutare. Dacă instrucțiunea este destinată unui anumit robot de căutare, atunci este necesar să-i prescrieți numele.
Al doilea și al treilea rând interzic indexarea adminka și a imaginii. Rețineți că fiecare director care este interzis de indexare este înregistrat pe o linie separată. Combinarea lor într-o singură linie reprezintă o greșeală gravă. De asemenea, nu puteți muta linii în cadrul unei declarații.
Agent-utilizator: Yandex
Împiedicați: / adminka /
Realizator: www.site.ru
Și acum voi da exemple concrete de scriere a unui fișier robots.txt pentru diverse sarcini.
1. Împiedicați indexarea întregului site de către toate motoarele de căutare.
2. Nu interzice indexarea întregului site de către toți roboții de căutare.
3. Împiedicați indexarea întregului site de către un singur robot de căutare (de exemplu, SeoBot).
Agent-utilizator: SeoBot
Nu permiteți: /
4. Nu interzice întreg site-ul de la indexarea la un robot (de exemplu, SeoBot) și interzice tuturor celorlalte roboți de căutare de indexare.
Agent-utilizator: SeoBot
Disallow:
5. Interzicerea indexării mai multor directoare de către toate roboții de căutare.
User-agent: *
Împiedicați: / directoria-1 /
Împiedicați: / directoria-1 /
Nu permiteți: / hidedirectoria /
6. Împiedicați indexarea mai multor fișiere de către toți roboții de căutare.
User-agent: *
Dezactivați: /hide.php
Dezactivați: /secret.html
Ce erori ar trebui să evit în scris conținutul fișierului robots.txt?
Iată regulile de bază pentru scrierea conținutului unui fișier robots.txt:
Articole similare
Trimiteți-le prietenilor: