În plus față de robots.txt, există alte acorduri de gentlemen pentru munca robotilor - de exemplu, nu ar trebui să facă mai mult de o conexiune, pentru a nu ciocni canalul și a permite altor utilizatori web să comunice cu acest server.
Pentru motorul de căutare Yandex.Ru, robotul include mai multe module pentru indexare, recunoașterea codărilor (dacă pagina conține limba rusă) și determinarea unicității documentului.
1. Cum invata Yandex.Ru despre noi resurse
2. Reguli de indexare în Yandex.Ru
În plus, Yandex începe să lupte împotriva spam și pagini cu timp redirect'a zero, vor fi excluse din index (nu este clar ce alt scop decât de a spam-ul poate fi de la creatorii paginii, utilizatorul nu poate vedea în principiu).
Robotul Yandex.Ru stochează data ultimului traversal al fiecărei adrese URL, data schimbării sale (trimisă de serverul său Web) și data ultimei modificări a bazei de date de căutare (data indexării). Optimizează ocolirea web-ului în așa fel încât să viziteze mai des serverele cele mai variabile.
Din acest motiv, și pentru că Yandex.Ru funcționează prin căutarea și sortarea după date, aș dori foarte mult ca serverele să emită date corecte de modificare a fișierelor, ceea ce nu se întâmplă în mai mult de 20% din cazuri.
3. Cum să aflați dacă resursele sunt indexate
4. Configurați serverul după cum urmează. astfel încât să afișeze corect data fișierelor și codarea limbii ruse.
Resursa din sistem este descrisă incorect. Cum pot remedia asta?
Adesea primim scrisori precum "Nu mi-am pus resursele în sistemul tău și e descris incorect". Cum rezolv situația? În general, o resursă, dacă există, nu poate fi interpretată greșit. Dacă este secret, refuzați accesul la el în robots.txt. Dacă nu caută acele cuvinte pe care doriți să le vedeți sau dacă nu sunteți în prim plan, acordați atenție la ceea ce este scris efectiv pe paginile resursei dvs.
Yandex.Ru este un motor de căutare cu text integral, astfel că paginile se vor baza pe cuvinte scrise pe ele și nu pe acele cuvinte cheie pe care le-ați descris această resursă. Rețineți, de asemenea, că Yandex lucrează numai cu texte și nu poate recunoaște imaginile grafice. Prin urmare, dacă numele este tras, atunci ar trebui repetat undeva pur și simplu cu text.
Articole similare
Trimiteți-le prietenilor: