În ultimele zile, blogurile ar fi avut cenzură în căutarea imaginilor Yandex. De fapt, am avut o forță majoră tehnică, o durere în creștere.
Din nefericire, disfuncționalitatea tehnică a serviciilor Yandex nu este interpretată ca un act de cenzură, nu pentru prima dată - de susținători ai unor partide și puncte de vedere foarte diferite. Înțelegem că bănuielile se nasc cu ușurință, dar disipă mult timp, deci considerăm necesar să spunem în detaliu exact ce sa întâmplat.
Anterior, în căutarea de imagini, o nouă bază de căutare a fost stabilită o dată pe săptămână. Pentru a stabili o nouă bază de căutare, nu este suficient doar să descărcați imagini de pe tot Internetul. Încă mai trebuie să construiască copii mai mici, să găsească și să lege duplicate, să elimine spamul etc. Este suficient să spunem că dimensiunea indexului nostru de imagini este acum de 3 terabyte, iar copii mai mici ale imaginilor, care sunt de asemenea stocate pe servere, sunt de 25 terabytes.
Din păcate, la o extindere atât de accentuată a unui indice, a existat o boală de creștere. Crearea de copii mici, duplicarea duplicatelor și a altor procese de formare a bazei de date au început să dureze mult mai mult.
Speram că am fost pe cale să facem față și să prezentăm o nouă bază de date cu imagini, dar am subestimat amploarea a ceea ce se întâmpla. Am pus prea multă presiune pe pedala de gaz, dar am uitat să fixăm centurile de siguranță. Drept urmare, a existat un decalaj mare între data la care robotul nostru a descărcat imaginea și data la care a apărut în căutare.
Astfel, diferența va fi redusă de la 6 săptămâni la 4, ceea ce este încă inacceptabil. Dar, într-o săptămână, când se va produce următoarea creștere a bazei, vom scurta acest decalaj la 2 săptămâni.
Și în curând pe Yandex va fi o căutare pe imagini de pe tot Internetul cu o bază de date complet actualizată.
Articole similare
Trimiteți-le prietenilor: