In diesem Zusammenhang würd ich es nett finden, wenn jem. auf die Frage http://de.wikipedia.org/wiki/WP:FZW#WP-Dump_in_SQL.3F beantworten könnte ([[WP:FZW]], Abschnitt "WP-Dump in SQL?")... Filzstift

<dampfablass>Das wäre wirklich dumm für mich. Muss ich jetzt dafür extra noch Mediawiki installieren oder was? Und die GBs von Daten für wikisign sprachgetrennt noch zu parsen würde mich echt ank*****. Das Ganze würde mindestens ein paar Tage gehen.</dampfablass> Filzstift 2005/8/4, Leon Weber &lt;leon.weber(a)leonweber.de&gt;de>: -- www.wikisign.org - SQL-Abfragen durchführen

Jakob schrieb: Soweit bin ich bei meinen weiteren Recherchen auch gekommen. Wenn ich das alles richtig verstandne habe, dann müsste jetzt eigentlich nur jemand eine entsprechende XSL Datei schreiben, mit der ein Parser die riesige XML-Datei in z.B. eine SQL Datei umwandeln könnte, damit man sie wieder in MySQL einlesen kann. Wer das nötige Know How hat, sollte das bitte mal tun und allen anderen Wikipedianern zur Verfügung stellen. Besten Dank im Voraus. Stefan

Daniel Herding: Werden denn da auch &amp; , &lt; und &gt; in den Textblöcken ersetzt? Ich kann zwar kein Python, aber das hätte ich eigentlich finden müssen. Genau diesen Entwicklungsweg habe ich nämlich auch mit Perl hinter mir: Erst habe ich XML::Twig verwendet, was viel zu langsam war. Dann habe ich es selbst geschrieben mit einem regulären Ausdruck zur Ersetzung von &amp; usw.. Das war aber immer noch zu langsam. Dann habe ich die Ersetzung mit einer C-Funktion neu geschrieben, was das Ganze noch mal um den Faktor 2.5 beschleunigt hat. Beim Dump der aktuellen Versionen ist das vielleicht noch egal (ca. 10min/4min), aber beim vollen Dump (der momentan unvollständig ist und vollständig ca. 12GB lang sein müsste) macht das schon einen Unterschied. -- GMX DSL = Maximale Leistung zum minimalen Preis! 2000 MB nur 2,99, Flatrate ab 4,99 Euro/Monat: http://www.gmx.net/de/go/dsl

Daniel Herding: Aha, &quot; habe ich vergessen, &amp; hast du vergessen und &apos; ist im Prinzip auch möglich [1], allerdings kommt das im Dump z.Z. nicht vor. Was ich zur angeblich schnelleren C-Funktion für die Ersetzungen geschrieben habe, bitte wieder vergessen. Ich hatte mit Perl eine suboptimale Alles-in-einem-Rutsch-Ersetzung verwendet. Wenn man es nacheinander macht, ist es mit Perl genauso schnell wie mit C: $text =~ s/&lt;/</sg; $text =~ s/&gt;/>/sg; $text =~ s/&apos;/'/sg; $text =~ s/&quot;/"/sg; $text =~ s/&amp;/&/sg; So kann Perl offenbar besser optimieren. [1] http://www.w3schools.com/xml/xml_cdata.asp -- 5 GB Mailbox, 50 FreeSMS http://www.gmx.net/de/go/promail +++ GMX - die erste Adresse für Mail, Message, More +++