[Wikide-l] Sehr langsamer Datenimport

[Christoph Litauer]

Liebe Wikipedia-Freunde,

ich versuche seit ca. 14 Tagen, einen lokalen Wikipedia-Server
aufzusetzen und scheitere immer wieder an der Performance der Datenbank.
Evtl. habt ihr einen Tipp?

Ich muss (aus Forschungsgründen) die Vollversion mit der kompletten
Historie (ca. 28 GB komprimiertes XML) importieren. Der Datenbankserver
ist eine recht aktuelle Maschine mit 2 GB RAM (SuSE SLES 10, mysql 5).
Inzwischen habe ich per mwimport die XML-Daten in eine sql-Datei
konvertiert. Der Import dieser 58 Millionen sql-Kommandos geht aber
schneckenlangsam.

Als einzige Optimierung habe ich bisher gesetzt:
innodb_buffer_pool_size = 1500M
innodb_additional_mem_pool_size = 8M

Führe ich während des Imports folgendes Kommando aus (um den Fortschritt
zu sehen:

  select count(*) from revision;

dauert die Antwort ca. 4-20 Minuten ... ich nehme daher an, dass der
Datenimport durch die Datenbankstruktur extrem ausgebremst wird.

Habt ihr auch schon einmal diesem Import durchgeführt? Irgndwelche
Erfahrungen, Tipps?

-- 
Gruß
Christoph Litauer
________________________________________________________________________
Christoph Litauer                  litauer at uni-koblenz.de
Uni Koblenz, Rechenzentrum,        http://www.uni-koblenz.de/~litauer
Postfach 201602, 56016 Koblenz     Fon: +49 261 287-1311, Fax: -100 1311
PGP-Fingerprint: F39C E314 2650 650D 8092 9514 3A56 FBD8 79E3 27B2