Liebe Wikipedia-Freunde,
ich versuche seit ca. 14 Tagen, einen lokalen Wikipedia-Server aufzusetzen und scheitere immer wieder an der Performance der Datenbank. Evtl. habt ihr einen Tipp?
Ich muss (aus Forschungsgründen) die Vollversion mit der kompletten Historie (ca. 28 GB komprimiertes XML) importieren. Der Datenbankserver ist eine recht aktuelle Maschine mit 2 GB RAM (SuSE SLES 10, mysql 5). Inzwischen habe ich per mwimport die XML-Daten in eine sql-Datei konvertiert. Der Import dieser 58 Millionen sql-Kommandos geht aber schneckenlangsam.
Als einzige Optimierung habe ich bisher gesetzt: innodb_buffer_pool_size = 1500M innodb_additional_mem_pool_size = 8M
Führe ich während des Imports folgendes Kommando aus (um den Fortschritt zu sehen:
select count(*) from revision;
dauert die Antwort ca. 4-20 Minuten ... ich nehme daher an, dass der Datenimport durch die Datenbankstruktur extrem ausgebremst wird.
Habt ihr auch schon einmal diesem Import durchgeführt? Irgndwelche Erfahrungen, Tipps?
On 27/06/07, Christoph Litauer litauer@uni-koblenz.de wrote:
Liebe Wikipedia-Freunde,
ich versuche seit ca. 14 Tagen, einen lokalen Wikipedia-Server aufzusetzen und scheitere immer wieder an der Performance der Datenbank. Evtl. habt ihr einen Tipp?
an die "richtige" Liste wenden in den "richtigen" IRC chan gehen ;-)
mfg
paddy
On 27.06.2007 14:12:16, Patrick-Emil Zörner wrote:
On 27/06/07, Christoph Litauer litauer@uni-koblenz.de wrote:
Liebe Wikipedia-Freunde,
ich versuche seit ca. 14 Tagen, einen lokalen Wikipedia-Server aufzusetzen und scheitere immer wieder an der Performance der Datenbank. Evtl. habt ihr einen Tipp?
an die "richtige" Liste wenden in den "richtigen" IRC chan gehen ;-)
Da du ja anscheinend heute nicht auf dem Höhepunkt deiner Freundlichkeit gehen, erklär ich dem Christoph mal, dass du mit der "'richtigen' ML" diese Mailingliste meinst: http://lists.wikimedia.org/mailman/listinfo/wikitech-l und dass der "'richtige' IRC chan" wohl den IRC-Channel #mediawiki auf irc.freenode.net ist.
Leon
On 27.06.2007 14:55:10, Leon Weber wrote:
an die "richtige" Liste wenden in den "richtigen" IRC chan gehen ;-)
Da du ja anscheinend heute nicht auf dem Höhepunkt deiner Freundlichkeit gehen
Mist. Sollte "bist" statt "gehen" sein...
Leon
Lieber Leon,
On 27/06/07, Leon Weber leon@leonweber.de wrote:
On 27.06.2007 14:55:10, Leon Weber wrote:
an die "richtige" Liste wenden in den "richtigen" IRC chan gehen ;-)
Da du ja anscheinend heute nicht auf dem Höhepunkt deiner Freundlichkeit gehen
Mist. Sollte "bist" statt "gehen" sein...
ich lese diese Liste schon seit einiger Zeit und mich nervt es verständlicher weise, wenn Leute sich nicht 5 Minuten Zeit nehmen, um auf irgendeinem Weg herauszufinden, wo Sie Ihre Frage am treffendsten stellen können. Und das ganze noch mit diesem "Hoppla hier komme ich mit meiner Frage" sind ja alles Wikipedia-Freunde. Weil es ist IMHO Spam, der bei mir im Posteingang landet, genauso wie die ganzen Heinies, die ihre Werbung für ihre Fragebögen machen. Diese Liste die IMHO für Wikipedia und Politik um Wikipedia (nicht Mediawiki, Wikimedia oder sonstetwas). Mitlerweile wird sie zugespammt und vandalisiert. Dennoch vorsorglich... komme mir bitte nicht mit dem Satz: "Du kannst sie ja Abbestellen". Und ja ich hätte ihm gerne geholfen aber er hat ja nicht einmal gemerkt, ob er hier richtig ist. Wäre seine Frage gewesen: "Ich kann beim besten Willen bei google nicht finden, wo Fragen zur Mediawiki-Software beantwortet werden und wende mich hier an die Liste", dann wäre das was völlig anderes gewesen.
Meine Antwort war richtig, knapp, präzise und nach der liste hätte ich auch googlen müssen. Beim chan wusste ich auch nicht ob der richtige chan #mediawiki oder - ich meine mich erinnern zu können dass es da noch einen tech chan gab?! Keine Ahnug, wusste nur dass er hier falsch ist. Wenn Du den smiley nicht gesehen hast, dann weise ich Dich jetzt nochmal darauf hin, dass ;-) ein freundliches Augenzwinkern bedeutet. Aber ich denke das weißt Du schon bist ja schon ein großer ;-)
mfg
paddy
On 27.06.2007 16:00:30, Patrick-Emil Zörner wrote:
Aber ich denke das weißt Du schon bist ja schon ein großer ;-)
Danke, das bedeutet mir sehr viel.
On 27/06/07, Leon Weber leon@leonweber.de wrote:
On 27.06.2007 16:00:30, Patrick-Emil Zörner wrote:
Aber ich denke das weißt Du schon bist ja schon ein großer ;-)
Danke, das bedeutet mir sehr viel.
Das wusste ich und habe es deshalb geschrieben und mir einem Smiley versehen. Ich hoffe Du hast den Sarkasmus herausgelesen.
mfg
paddy
Patrick-Emil Zörner schrieb:
Lieber Leon,
On 27/06/07, Leon Weber leon@leonweber.de wrote:
On 27.06.2007 14:55:10, Leon Weber wrote:
an die "richtige" Liste wenden in den "richtigen" IRC chan gehen ;-)
Da du ja anscheinend heute nicht auf dem Höhepunkt deiner Freundlichkeit gehen
Mist. Sollte "bist" statt "gehen" sein...
ich lese diese Liste schon seit einiger Zeit und mich nervt es verständlicher weise, wenn Leute sich nicht 5 Minuten Zeit nehmen, um auf irgendeinem Weg herauszufinden, wo Sie Ihre Frage am treffendsten stellen können. Und das ganze noch mit diesem "Hoppla hier komme ich mit meiner Frage" sind ja alles Wikipedia-Freunde. Weil es ist IMHO Spam, der bei mir im Posteingang landet, genauso wie die ganzen Heinies, die ihre Werbung für ihre Fragebögen machen. Diese Liste die IMHO für Wikipedia und Politik um Wikipedia (nicht Mediawiki, Wikimedia oder sonstetwas). Mitlerweile wird sie zugespammt und vandalisiert. Dennoch vorsorglich... komme mir bitte nicht mit dem Satz: "Du kannst sie ja Abbestellen". Und ja ich hätte ihm gerne geholfen aber er hat ja nicht einmal gemerkt, ob er hier richtig ist. Wäre seine Frage gewesen: "Ich kann beim besten Willen bei google nicht finden, wo Fragen zur Mediawiki-Software beantwortet werden und wende mich hier an die Liste", dann wäre das was völlig anderes gewesen.
Meine Antwort war richtig, knapp, präzise und nach der liste hätte ich auch googlen müssen. Beim chan wusste ich auch nicht ob der richtige chan #mediawiki oder - ich meine mich erinnern zu können dass es da noch einen tech chan gab?! Keine Ahnug, wusste nur dass er hier falsch ist. Wenn Du den smiley nicht gesehen hast, dann weise ich Dich jetzt nochmal darauf hin, dass ;-) ein freundliches Augenzwinkern bedeutet. Aber ich denke das weißt Du schon bist ja schon ein großer ;-)
Ruhig Brauner, ruhig ... ;-) Ich hätte natürlich den entsprechenden Satz betreffend Google dazu schreiben können, denn natürlich habe ich Google befragt und bin letztlich bei dieser Liste gelandet. Ohne sich allerdings näher mit der Vielfalt der Mailinglisten zu befassen, durchschaut man deren Struktur nicht, weswegen meine Frage hier zwar deplatziert war, aber so eine Antwort trotzdem nicht verdient hat.
Trotzdem: Sorry, ich wende mich nun an die "richtige" Liste.
On 27/06/07, Christoph Litauer litauer@uni-koblenz.de wrote:
Ruhig Brauner, ruhig ... ;-) Ich hätte natürlich den entsprechenden Satz betreffend Google dazu schreiben können, denn natürlich habe ich Google befragt und bin letztlich bei dieser Liste gelandet. Ohne sich allerdings näher mit der Vielfalt der Mailinglisten zu befassen, durchschaut man deren Struktur nicht,
5 Minuten sagte ich. Nur 5 Minuten damit befassen.
weswegen meine Frage hier zwar deplatziert war, aber so eine Antwort trotzdem nicht verdient hat.
Das ist eine Frage der Betrachtungsweise. Ich betrachte es eben so, dass ich völlig richtig geschlossen habe. Du wolltest Dich mit den Listen nicht befassen also schreibst Du es mal irgendwo hin nach dem Motto "Hollpa hier kommt meine off topic Frage" und das nehme ich bewusst in kauf. Entsprechend fiel meine Antwort aus. Aber wie gesagt es war ein Smiley dahinter und schrifliche Kommunikation kannst Du nur danach beurteilen, denn Du hast mich ja nicht gesehen, als ich Dir geantwortet habe und konntest offensichtlich nicht auch nicht sehen wie das gemeint war. Es war nett aber bestimmend gemeint. Und verdient hast Du das wie wir jetzt wissen alle male.
paddy
Patrick-Emil Zörner wrote:
Lieber Leon,
On 27/06/07, Leon Weber leon@leonweber.de wrote:
On 27.06.2007 14:55:10, Leon Weber wrote:
an die "richtige" Liste wenden in den "richtigen" IRC chan gehen ;-)
Da du ja anscheinend heute nicht auf dem Höhepunkt deiner Freundlichkeit gehen
Mist. Sollte "bist" statt "gehen" sein...
ich lese diese Liste schon seit einiger Zeit und mich nervt es verständlicher weise, wenn Leute sich nicht 5 Minuten Zeit nehmen, um auf irgendeinem Weg herauszufinden, wo Sie Ihre Frage am treffendsten stellen können. Und das ganze noch mit diesem "Hoppla hier komme ich mit meiner Frage" sind ja alles Wikipedia-Freunde. Weil es ist IMHO Spam, der bei mir im Posteingang landet, genauso wie die ganzen Heinies, die ihre Werbung für ihre Fragebögen machen. Diese Liste die IMHO für Wikipedia und Politik um Wikipedia (nicht Mediawiki, Wikimedia oder sonstetwas).
Hmm, gibt es inzwischen eine deutschprachige Mediawiki-Liste?
Als vor einigen Jahren (Februar 2001, wenn ich mich richtig erinnere) diese Liste gegründet wurde, ging es überhaupt noch nicht um Wikipedia (das war die Liste "Deutsch-L" des Nupedia-Projektes, deutsch-l@nupedia.com.)
Irgendwann später (nachdem etwa ein halbes jahr lang keine Nupedia-bezügliche Mail mehr kam) wurde die Liste für die Wikipedia weitergenutzt (und sie hat ein paar mal ihren Namen geändert), und dann auch für deutsche Fragen zur Verwendung Software außerhalb des Wikipedia-Projektes (die Software hieß damals noch "Wikipedia Phase 2" bzw. später "Wikipedia Phase 3", bevor es irgendwann die Umbenennung zu "Mediawiki" gab).
Ich kann mich nicht erinnern, dass es irgendwann mal eine offizielle Umwidmung der Liste gab.
So, jetzt schimpft bitte alle auf mich Nostalgiker ;-)
Paul
On 6/28/07, Paul Ebermann Paul-Ebermann@gmx.de wrote:
Hmm, gibt es inzwischen eine deutschprachige Mediawiki-Liste?
Nein, meines Wissens nicht. Aber auf wikimedia-tech und mediawiki-l schlagen durchaus in letzter Zeit Deutsche auf, die MW-Fragen haben.
Mathias