Noi facem dreptate și

Sarcina este de a dezactiva câteva directoare pentru indexarea la motoarele de căutare, pentru a scăpa de conținutul duplicat. De exemplu, puteți accesa același articol atât cu / tag / și / category /.

De ce conținutul duplicat este rău?

Iată ce spune Google despre acest lucru (traducere), puteți găsi, de asemenea, informații despre motorul de căutare Yandex, care afirmă că algoritmii lor banyat site-uri cu conținut duplicat. Nu știu acest lucru este adevărat sau nu, eu nu sunt un expert în domeniul SEO (dacă există experți - în kammenty otpishite), dar doar în cazul în dublaj Lee!

Utilizați căutarea de la Google sau Yandex și veți găsi o mulțime de informații despre acest subiect.

robots.txt

robots.txt - un fișier de restricționare a accesului la conținut la roboți pe http-server. Fișierul ar trebui să fie în rădăcina site-ului (de exemplu, să aibă o cale relativă la numele site-ului /robots.txt). Dacă există mai multe subdomenii, fișierul trebuie să fie localizat în directorul rădăcină al fiecărui subdomeniu. Acest fișier completează sitemap-urile standard, care servește direct scopului opus: facilitarea accesului la roboți.

My Robots.txt

Deci roboții mei arată ca:

Am permis boturilor de căutare să mă indexeze numai prin "Tegam" și "Arhiva". Observați că folosesc / wp-mask. la adresele URL wp-login.php, wp-register.php, wp-admin etc. a interzis indexarea (Disallow).

De asemenea, am permis indexarea "/ wp-content / uploads /" pentru serviciile "Yandex Pictures" și "Google Images". pentru că în majoritatea lor sunt stocate imagini. Și am rassharil dosar "sitemap.xml" pentru o mai bună indexare.

Pentru a verifica sintaxa și structura fișierului robots.txt, există o serie de servicii online specializate:

De asemenea, nu trebuie să uitați despre fișierul sitemap.xml

Sitemapuri - este fișier XML care conține informații pentru motoarele de căutare (cum ar fi Google, Yahoo, Ask.com, MSN, Yandex) din paginile site-ului, care fac obiectul de indexare. Sitemapuri poate ajuta motoarele de căutare a localiza pagini de pe site-ul, momentul ultimei actualizări, frecvența de actualizare și importanța în raport cu alte pagini de pe site-ul dvs. la un motor de căutare ar putea indexa site-ul mai inteligent.

Sitemap-ul nu este necesar și motoarele de căutare nu-i garantează utilizarea, ci ajută doar pe boturile de căutare să indexeze, dar cred că acest lucru este foarte util!

Pentru Wordpress există un plugin - Google XML Sitemaps XML (alte pluginuri utile WordPress utilizate de mine). Acest plugin generează pentru dvs. un fișier sitemap.xml. care conține informații pentru motoarele de căutare pentru indexarea site-ului. Puteți să-l configurați singur și să specificați procentele de prioritate pentru articole, pagini etc.

Webmaster Centrales Google și Yandex

Pentru a accelera indexarea, vă recomandăm să notificați Google și Yandex despre fișierele robots.txt și sitemap.xml. pentru aceasta există servicii speciale:

Folosind http-pings pentru a notifica motoarele de căutare despre actualizări în sitemap-uri

Puteți spune motoarelor de căutare unde este localizat Sitemap-ul utilizând o solicitare HTTP:

Orei bune din timpul zilei. Am o întrebare despre conținutul duplicat.
De exemplu, există o listă de articole în rubrică, multe dintre ele având o etichetă. făcând clic pe linkul "citiți mai mult" mergem la articolul cu adresa URL unică. Dar există articole scurte în rubrica care reflectă pe deplin textul articolului din lista de articole a rubricii. Ie făcând clic pe acest articol, mergem la articolele articolului, unde textul este absolut identic cu textul din pagina rubricii. Cum este mai bine să eviți o astfel de dublare?
Vă mulțumim pentru răspuns.

În general, închid indexarea corpului de articole din listă, dar lăsăm doar numele și linkurile către o pagină separată.

Mulțumesc. Închis prin plug-in-urile SEO all-in-one titluri, arhive și etichete. Sper că ar fi suficient.

Nu, i-am întors rubricile înapoi, am nevoie de ele. Spuneți-mi cum pot închide "corpurile de articole din lista categoriilor"?

Buna ziua. Am adăugat un fișier robots.txt pe site-ul meu cu următorul conținut:

Cum pot remedia această problemă? Încă mai vreau să găzduesc site-uri de la hosting gratuit! Inclusiv site-uri cu Ucoz! Nu te pot ajuta, nu am scris regulile. Un constructor yukoz și alți constructori - focar al GE.

Ei bine, totul este corect. Aici roboții arată astfel:

Ahhh. Există în Wikipedia, unde există codurile, am realizat ce este codul de eroare 403:

"Apărut în HTTP / 1.0.

Serverul a înțeles solicitarea, dar refuză să o execute din cauza restricțiilor privind accesul de la client la resursa specificată.

Dacă accesul la resursă necesită autentificare HTTP, serverul va returna un răspuns de 401 (sau 407 pentru proxy). În caz contrar, restricțiile au fost stabilite de administratorul de server sau de dezvoltatorul aplicației web și pot fi oricare, în funcție de capacitățile software-ului folosit.

În ambele cazuri, clientul trebuie să raporteze motivele refuzului de a procesa cererea.

Motivele cele mai probabile pentru restricție sunt:

Sa încercat accesarea resurselor de sistem ale serverului web (de exemplu, fișierele .htaccess sau .htpasswd) sau a fișierelor închise utilizând fișiere de configurare.

Pentru acces, este necesară autentificarea nu prin mijloace HTTP (de exemplu, pentru a accesa un CMS sau o secțiune pentru utilizatorii înregistrați).

"Apărut în HTTP / 1.0.

O cerere de resurse de succes. Dacă clientul a solicitat date, acestea se află în antetul și / sau corpul mesajului. "

Și încă vreau site-urile mele indexate. Și vreau să iau site-uri de la hosting gratuit! Inclusiv site-uri cu Ucoz! Și încă vreau să fac astfel de indicatori ai site-ului meu ca TIC 1500 PR 13. Cum pot face acest lucru? Răspunde cineva te rog?

Am încercat să adăugați site-ul în Yandex și el mi-a dat care se presupune că nu indexează din cauza robotului blocat, dar nu am adăuga acest robot, dar Yandex este motivul pentru care el găsește. și într-adevăr acolo, roboții sunt scrise astfel încât să interzică indexarea întregului site de către toți cabologii. ce este în cele din urmă poate și acum ce?

Articole similare

Pagina anterioară

Pagina următoare