Astăzi a fost nevoie să completeze baza de date, în tabelul MyIsam aproximativ 100 de milioane de înregistrări și totul ar fi bine, dar pe cel de-al doilea servac mic, a durat foarte mult timp, motivul fiind că avea doar 700 MB de RAM.
Stânga noaptea, până în dimineața zilei, aproximativ 4 milioane au fost inundate, dar este încă foarte lent, atunci am crezut că problema constă în faptul că indicele este citit de pe disc - acesta este motivul vitezei lente. Trebuie remarcat faptul că înregistrările din tabel trebuie să fie unice, motiv pentru care sa folosit indicele unic.
În general, după reflecție, am decis să mă asigur de corectitudinea gândurilor mele și a fost util să îmi amintesc cum să mărim cantitatea de RAM alocată pentru indexurile MySQL. Decizia nu a durat mult și am găsit această notă: Importați date mai repede. A fost doar parametrul pe care îl căutam (știam că a fost acolo, dar nu mi-am amintit numele exact): cheie-tampon. El a fost cel care a fost responsabil pentru tamponul de indici.
După aceea, am transferat scriptul de pe server, pe computerul de lucru cu memorie RAM de 16 GB, configurat fișierul my.cnf cu parametrul key_buffer_size, mărind-l la 10 GB. Și am început scenariul, undeva într-o oră scriptul sa confruntat cu opera și am obținut 20 de milioane de înregistrări unice. Ie schimbând o singură cifră și trecând la un hardware mai puternic, am făcut de 5 ori mai rapid (dacă l-am lăsat pe server, aș aștepta finalizarea altui: (20 / 4-1) * 10 = 40 ore).
După ce toate cele vechi au fost importate, am copiat fișierele binare ale bazei de date într-o mică sursă, transferând astfel baza de date deja pregătită.
Imaginea este preluată de pe blog.marcocantu.com
Am câștigat un FORUM. Toate întrebările care nu se referă la articol, precum și întrebări referitoare la cazul dvs. particular, ar trebui să fie întrebuințate și discutate exact acolo, în secțiunea "Ajutor utilizatorilor".
Articole similare
Trimiteți-le prietenilor: