Liebe Wikipedia-Freunde,
ich versuche seit ca. 14 Tagen, einen lokalen Wikipedia-Server aufzusetzen und scheitere immer wieder an der Performance der Datenbank. Evtl. habt ihr einen Tipp?
Ich muss (aus Forschungsgründen) die Vollversion mit der kompletten Historie (ca. 28 GB komprimiertes XML) importieren. Der Datenbankserver ist eine recht aktuelle Maschine mit 2 GB RAM (SuSE SLES 10, mysql 5). Inzwischen habe ich per mwimport die XML-Daten in eine sql-Datei konvertiert. Der Import dieser 58 Millionen sql-Kommandos geht aber schneckenlangsam.
Als einzige Optimierung habe ich bisher gesetzt: innodb_buffer_pool_size = 1500M innodb_additional_mem_pool_size = 8M
Führe ich während des Imports folgendes Kommando aus (um den Fortschritt zu sehen:
select count(*) from revision;
dauert die Antwort ca. 4-20 Minuten ... ich nehme daher an, dass der Datenimport durch die Datenbankstruktur extrem ausgebremst wird.
Habt ihr auch schon einmal diesem Import durchgeführt? Irgndwelche Erfahrungen, Tipps?