Motoarele de căutare
Roboții pentru motoarele de căutare, denumiți uneori "păianjeni" sau "crawlere", sunt module software care caută pagini web. Cum funcționează? Ce fac cu adevărat? De ce sunt ele importante?
Cum funcționează robotul de căutare?
Roboții de căutare ar trebui percepuți ca programe pentru recuperarea automată a datelor care circulă în rețea în căutarea de informații și link-uri către informații.
Venind pe site-ul dvs., roboții verificați mai întâi pentru a vedea dacă există un fișier robots.txt. Acest fișier îi spune roboților care secțiuni din site-ul dvs. nu fac obiectul indexării. De obicei, acestea pot fi directoare care conțin fișiere pe care robotul nu le interesează sau nu ar trebui să le cunoască.
"Witty" în ceea ce privește indexarea paginilor în timp real depinde de inginerii motoarelor de căutare care au inventat metodele folosite pentru a evalua informațiile obținute de robotul de căutare. Fiind încorporat în baza de date a motorului de căutare, informațiile sunt disponibile pentru utilizatorii care caută. Atunci când un utilizator al unui motor de căutare introduce o interogare de căutare, se efectuează o serie de calcule rapide pentru a se asigura că setul de site-uri cu adevărat corect este produs pentru răspunsul cel mai relevant.
Pe lângă identificarea roboților de căutare unici și numărarea numărului de vizite ale acestora, statisticile vă pot arăta agresiv, absorbind lărgimea trecerii de roboți sau de roboți nedoriți să viziteze site-ul dvs.
Cum citesc paginile site-ului tău?
Ulterior, informațiile furnizate bazelor de date index ale motorului de căutare devin parte a motorului de căutare și a procesului de clasificare în baza de date. Când un vizitator transmite o solicitare, căutatorul scanează întreaga bază de date pentru a emite o listă finală care este relevantă pentru interogarea de căutare.
Bazele de date ale motoarelor de căutare fac obiectul unei procesări și alinierii atentă. Dacă vă aflați deja în baza de date, roboții vă vor vizita periodic pentru a colecta orice modificări pe paginile dvs. și pentru a avea încredere că au cele mai recente informații. Numărul de vizite depinde de setările motorului de căutare, care pot varia de la tipul și scopul acestuia.
Uneori, roboții de căutare nu sunt capabili să indexeze site-ul. Dacă site-ul dvs. a căzut sau un număr mare de vizitatori vizitează site-ul, robotul poate fi incomod în încercarea de a-l indexa. Când se întâmplă acest lucru, site-ul nu poate fi reindexat, ceea ce depinde de frecvența vizitei efectuate de robot. În majoritatea cazurilor, roboții care nu ar putea ajunge la paginile dvs. vor încerca mai târziu, cu speranța că site-ul dvs. va fi disponibil în viitorul apropiat.
Multe roboți de căutare nu pot fi identificați când răsfoiți jurnalele. Ei vă pot vizita, dar jurnalele spun că cineva utilizează un browser Microsoft etc. Unele roboți se identifică folosind numele motorului de căutare (googlebot) sau clona acestuia (Scooter = AltaVista).
În funcție de modul în care este configurat robotul, informațiile sunt indexate și apoi livrate în baza de date a motorului de căutare.
Din acest motiv, citirea fișierelor jurnal și urmărirea rezultatelor motorului de căutare vă ajută să monitorizați indexarea proiectelor dvs.
Articole similare
Trimiteți-le prietenilor: