Bună ziua, dragi cititori! După ce ați creat un site pe Joomla, nu trebuie să uitați de necesitatea creării unui fișier robots.txt. Pentru a promova site-ul, acesta ar trebui să fie indexat de către roboți de căutare. Și din moment ce Joomla constă dintr-un număr mare de extensii diferite și nu toate au nevoie să fie indexate de către roboții de căutare. Prin urmare, trebuie să setați reguli pentru comportamentul boturilor atunci când indexați site-ul. În acest scop, trebuie să creați un fișier robots.txt pentru Joomla.
Înainte de a începe să creați. Trebuie să înțelegeți ce este un fișier robots.txt.
Dar înainte de a fi nevoie să începeți să creați și să specificați corect principalele directive
Încă de la început în fișierul robots.txt, trebuie să configurați ce bot de căutare să creeze instrucțiunile. În acest scop, directiva „User-agent“, ceea ce ne dorim, pentru a permite crawlerului nostru să indexeze este indicat de directivele „Permiteți“, și să interzică utilizarea directivei „nepermisă“. Nu uitați să specificați directiva "Sitemap", care arată calea spre robotul de căutare pentru fișierul hărții site-ului.
Dacă trebuie să precizez în această directivă condițiile de indexare pentru un anumit robot de căutare, să presupunem că pentru Yandex directiva va avea următoarea formă:
Fiecare motor de căutare are propriul său robot, care are numele său. Voi lista numele celor mai obișnuiți roboți de căutare:
Robotul de căutare de la Yandex - User-agent: Yandex;
Robotul de căutare Google - Agent utilizator: Googlebot;
Robot de căutare de la Rambler - Agent de utilizator: StackRambler;
Robotul de căutare de la Yahoo! - Agent-utilizator: Yahoo! SLURP;
Robot de căutare de la MSN - User-agent: MSNbot;
După specificarea directivei User-agent, linia de mai jos stabilește directiva Disallow - instrucțiunile bot. Nu trebuie să existe linii goale între aceste linii, altfel va însemna sfârșitul blocului.
Pentru a permite tuturor motoarelor de căutare să indexeze întregul site, trebuie să vă înregistrați:
Ajutor pentru a configura robots.txt Nu înțeleg corect că am făcut sau nu.
Bună ziua! Ajutați-ne să configurați robots.txt Trebuie să închideți toate blocurile de informații duplicate. Și apoi avem o contrabandă și magazinul aproape nu se află în index. Site-ul ulovisto.ru
Articole similare
Trimiteți-le prietenilor: