Și am fost obligat să reduc sarcina pe server. Unul dintre site-urile mele de magazin online este destul de greu. Și, în ciuda caching-ului inclus, găzduirea inteligentă, este servac foarte încărcat. Când m-am mutat dintr-un server dedicat într-o găzduire normală cu o putere sporită, nevoia de a reduce sarcina a devenit deosebit de acută, deoarece cu permis de 150cp am doar un singur site care a dat o încărcătură de până la 250 cf. Acest lucru nu a fost bun. Curățarea scripturilor de scripting, cum ar fi procesarea dinamică a fotografiilor, nu a fost foarte eficientă și am fost nevoită să mai dig.
După ce am dat peste Internet, am găsit o modalitate de a tăia roboții inutili și de a limita activitățile celor necesare.
Deci, subsecțiunea 1. Reducem sarcina pe server blocând activitatea de roboți inutili.
Pentru aceasta, introduceți următoarea intrare în fișierul .htaccess:
# Apoi, lista de utilizatori la care refuzăm accesul
SetEnvIfNoCase User-Agent MJ12bot bad_bot
SetEnvIfNoCase User-Agent JS-Kit Bad_Bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase Biblioteca utilizator-Agent bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase Utilizator-agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Nici unul bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase Crawler User-Agent bad_bot
Neagă de la env = bad_bot
Ie În primul rând vom da o listă cu roboții, care doresc să interzică pentru a vizita site-ul, care le marchează setarea bad_bot, și apoi le interzic să dea conținutul paginii, în cazul în care acestea apar.
Lista poate fi completată. În cazul meu, o problemă specială a fost cauzată de MJ12bot, care a făcut cereri 1-3K pe zi.
punctul 2. Reduceți încărcătura setând calendarul
Descărcându-se în mai multe pagini, acești botți pot pune site-ul și întregul server împreună cu ei.
Că nu pun serverul, pot seta intervalul de timp minim de întârziere, care trebuie să treacă înainte de următoarea solicitare.
Acest lucru se poate face în fișierul robots.txt. Adăugați următoarele intrări:
Această intrare înseamnă că boturile Yandex sunt interzise să acceseze site-ul mai mult de o dată la fiecare 5 secunde.
Exact aceeași înregistrare ar trebui făcută pentru motoarele altor motoare de căutare.
Facem și suntem bucuroși să reducem încărcătura și să mărim viteza medie a site-ului.
Trimiteți-le prietenilor: