Guten Abend liebe Liste
Ich suche Wikipedianer, die Lust haben, mir bei der Beurteilung der Qualität einer Stichprobe von Wikipedia-Artikeln zu helfen. Wie einige von euch schon wissen, schreibe ich an der Uni Zürich meine Lizentiatsarbeit in Kommunikations-Wissenschaft zum Thema Qualitätssicherung in Wiki-Systemen.
Bei der Beurteilung geht es darum, mit einer Inhaltsanalyse 500 Artikel auf ca. 80 Qualitätsindikatoren zu untersuchen. Weil es mehr Spass macht, diese Arbeit mit ein paar netten Menschen gemeinsam durchzuführen, frage ich hier in die Liste.
Die Erhebung findet zwischen 16. und 24. April in Zürich statt. Voraussetzungen sind mindestens ein Tag Zeit und evtl. ein eigener Laptop. Anbieten kann ich nicht viel ausser eine schöne Zeit, ein paar gute und ein paar schlechte Artikel, Verpflegung und eine Unterkunft für diejenigen, die von weiter weg kommen. Die erhobenen Daten werde ich anschliessend unter CC-Lizenz für weitere Analysen zur Verfügung stellen.
Schreibt mir ein Mail, falls ihr bei diesem Projekt mithelfen wollt.
Lieber Gruss Andreas
PS: Die Forschungsfrage lautet: Unter welchen Voraussetzungen eignet sich das Wiki-Prinzip zur Sicherung der Qualität von publizistischen Inhalten? Untersucht wird der Einfluss von Bearbeitungs- und Nutzungshäufigkeit, Vandalismus, Anonymität, Relevanz und weiteren Faktoren auf die Qualität eines Wiki-Artikels.
Finde ich gut, wichtig und nach Spass. Die spannende Frage ist nur, wie bewältige ich die ungefähr 5000 Kilometer von http://de.wikipedia.org/wiki/Wesselburen nach Zürich.
gruss
southpark
"I'm downright amazed at what I can destroy with just a hammer." (Atom and his Package)
Finde ich gut, wichtig und nach Spass. Die spannende Frage ist nur, wie bewältige ich die ungefähr 5000 Kilometer von http://de.wikipedia.org/wiki/Wesselburen nach Zürich.
gruss southpark
Ja, eine ähnliche Frage stellte ich mir auch, wohne zwar "nur ca. 800 km" von Zürich weg, allerdings sind meine finanziellen Mittel sehr begrenzt.
Ist eine solche Erhebung nicht online möglich, die Kommunikationswege dazu sind ja durchaus vorhanden (IRC z.B.)? Wenigstens als "Zusatz" sollte man darüber nachdenken, denn online würden sich sicher einige Helfer mehr finden.
Gruss Roger Zenner
Roger Zenner roger_zenner@web.de schrieb:
Ist eine solche Erhebung nicht online möglich, die Kommunikationswege dazu sind ja durchaus vorhanden (IRC z.B.)? Wenigstens als "Zusatz"
sollte
man darüber nachdenken, denn online würden sich sicher einige Helfer mehr finden.
Hallo Roger, Leider ist die Erhebung nicht online möglich. Einerseits ist die inhaltsanalytische Auswertung sehr komplex. Dies erfordert eine relativ intensive Schulung der Leute, welche die Indikatoren erheben. Das ist nur schwierig über IRC machbar. Andererseits findet die Analyse richtig "oldschool" mit Stift und Papier statt. Das heisst: Die gefundenen Qualitätsindikatoren werden auf der ausgedruckten Version des Artikels markiert, damit sie auch für andere nachvollziehbar sind.
Man könnte sich allerdings überlegen, ob man zur rein inhaltichen Auswertung auch noch ein User-Rating der Artikel derselben Stichprobe machen will. Dies wäre natürlich am einfachsten Online durchführbar.
Gruss Andreas Brändle
WikiDE-l mailing list WikiDE-l@Wikipedia.org http://mail.wikipedia.org/mailman/listinfo/wikide-l
Hallo Roger, Leider ist die Erhebung nicht online möglich. Einerseits ist die inhaltsanalytische Auswertung sehr komplex. Dies erfordert eine relativ intensive Schulung der Leute, welche die Indikatoren erheben. Das ist nur schwierig über IRC machbar. Andererseits findet die Analyse richtig "oldschool" mit Stift und Papier statt. Das heisst: Die gefundenen Qualitätsindikatoren werden auf der ausgedruckten Version des Artikels markiert, damit sie auch für andere nachvollziehbar sind.
Das ist natürlich am einfachsten, manchmal sind "oldschool"-Dinge die Besten ;)
Man könnte sich allerdings überlegen, ob man zur rein inhaltichen Auswertung auch noch ein User-Rating der Artikel derselben Stichprobe machen will. Dies wäre natürlich am einfachsten Online durchführbar.
Sollte eine solche zusätzliche Studie stattfinden, so stelle ich mich gerne zur Verfügung.
Roger Zenner
Andreas Brändle wrote:
Man könnte sich allerdings überlegen, ob man zur rein inhaltichen Auswertung auch noch ein User-Rating der Artikel derselben Stichprobe machen will. Dies wäre natürlich am einfachsten Online durchführbar.
auch ich würde mich daran online mit begrenztem Zeitaufwand (3h oder so) beteiligen.
Noch mehr interessiert mich natürlich, wie Du die Kriterien dazu aufgestellt hast ... poste Deine Ergebnisse in jedem Fall bitte hier.
ciao Melvin
Am 06.03.2005 um 21:03 schrieb Melvin Lafalle:
Andreas Brändle wrote:
Man könnte sich allerdings überlegen, ob man zur rein inhaltichen Auswertung auch noch ein User-Rating der Artikel derselben Stichprobe machen will. Dies wäre natürlich am einfachsten Online durchführbar.
auch ich würde mich daran online mit begrenztem Zeitaufwand (3h oder so) beteiligen.
Ok, danke. Ich werde das Nutzer-Rating eventuell zu einem späteren Zeitpunkt in Angriff nehmen. Mein Forschungsprojekt konzentriert sich auf die rein inhaltlichen Aspekte und bezieht von der Nutzer-Seite vorerst nur die Nutzerstatistik mit ein. Vielleicht findet sich in der Zwischenzeit auch jemand anders, der für eigene Untersuchung eine Nutzer-Rating der Artikel durchführen möchte.
Noch mehr interessiert mich natürlich, wie Du die Kriterien dazu aufgestellt hast ...
Ich poste (allerdings unregelmässig) etwas zum Fortgang des Projekts in meinem Blog http://editthispage.blogspot.com. Dort kannst du auch die grade aktuelle Version des Codebuchs (Version2.3) runterladen. Es ist allerdings noch nicht ganz fertig und ich würde mich sehr über Anregungen freuen.
poste Deine Ergebnisse in jedem Fall bitte hier.
Ich denke, dass so ab Mai/Juni erste Resultate kommen.
Cheers a.
Andreas Brändle schrieb:
Ich poste (allerdings unregelmässig) etwas zum Fortgang des Projekts in meinem Blog http://editthispage.blogspot.com. Dort kannst du auch die grade aktuelle Version des Codebuchs (Version2.3) runterladen. Es ist allerdings noch nicht ganz fertig und ich würde mich sehr über Anregungen freuen.
Hi, ich habe mal das Codebuch und die 0.2 der Liz angeschaut. An einigen Stellen könnte man Details anbringen ("Wikipedia-Software" statt Mediawiki an einer Stelle ist diskutierbar). Dass Wasser bei 100°C kocht, ist so nicht ganz richtig (oder man unterstellt automatisch STP). Das sind aber Kleinigkeiten.
Mal eine methodische Frage: Viele deiner im Codebuch genannten Indikatoren lassen sich automatisch erfassen bzw die Fehlerquote einer automatischen Erfassung ist nicht zwingend grösser als bei einer manuellen Erfassung. Wozu braucht es dann noch überhaupt eine Stichprobe und warum nimmst du nicht einfach die komplette (deutschsprachige) Wikipedia als Grundlage? (und ja, natürlich bei vielen Indikatoren ist ein Mensch schneller. f01 und f02 finde ich nirgends konkretisiert, welche Auflagen welches Werkes meinst du?) Wenn du jetzt schon die Lemmata gezogen hast, wann werden die google-Treffer erfasst und warum geschieht dies nicht zeitnah?
In dem Codebuch gibt es keinen Indikator für edits von Bots, das könnte die Ergebnisse verzerren. Ob ein Account botstatus hat, lässt sich abfragen. Die Fehlerquote ist hoch, da ein Bot nicht angemeldet sein muss oder unter einem Nutzeraccount laufen kann.
Mathias, der das, was er lesen konnte, sehr spannend findet :)
Hallo Mathias Du bist aber schnell;-) Hier die Antworten zu deiner Frageflut
Am 07.03.2005 um 12:50 schrieb Mathias Schindler:
Mal eine methodische Frage: Viele deiner im Codebuch genannten Indikatoren lassen sich automatisch erfassen bzw die Fehlerquote einer automatischen Erfassung ist nicht zwingend grösser als bei einer manuellen Erfassung.
Etwa ein drittel der Variabeln sind automatisch erfassbar, was ich auch mache. Ab f04 beginnt die manuelle Arbeit.
Wozu braucht es dann noch überhaupt eine Stichprobe und warum nimmst du nicht einfach die komplette (deutschsprachige) Wikipedia als Grundlage?
Da zwei Drittel der Variabeln von Hand erfasst werden müssen (f04 bis Schluss)
(und ja, natürlich bei vielen Indikatoren ist ein Mensch schneller. f01 und f02 finde ich nirgends konkretisiert, welche Auflagen welches Werkes meinst du?)
Ist auch noch nicht konkretisiert. Wahrscheinlich nehme ich die jeweils neusten und ausführlichsten Auflagen. Hast du einen Wunsch?
Wenn du jetzt schon die Lemmata gezogen hast, wann werden die google-Treffer erfasst und warum geschieht dies nicht zeitnah?
Die Nutzerstatistiken der WP sind nur bis 19. Oktober 2004 erhältlich. Dann hat Tim wegen zu hoher Serverlast den Webalizer abgeschaltet. Leider kann ich mit den Google-Treffer nicht bis zum 19. Oktober zurück.
In dem Codebuch gibt es keinen Indikator für edits von Bots, das könnte die Ergebnisse verzerren. Ob ein Account botstatus hat, lässt sich abfragen. Die Fehlerquote ist hoch, da ein Bot nicht angemeldet sein muss oder unter einem Nutzeraccount laufen kann.
Ich nehme die Bot-Einträge soweit als möglich raus. Allerdings gibts hier eine Dunkelziffer.
Mathias, der das, was er lesen konnte, sehr spannend findet :)
Das freut mich
Cheers a.
WikiDE-l mailing list WikiDE-l@Wikipedia.org http://mail.wikipedia.org/mailman/listinfo/wikide-l
-- Andreas Brändle Anwandstrasse 73 8004 Zürich
+41 76 389 92 14 +41 1 241 11 60 andreas@rosskur.ch --
Andreas Brändle schrieb:
Etwa ein drittel der Variabeln sind automatisch erfassbar, was ich auch mache. Ab f04 beginnt die manuelle Arbeit.
(das ist jetzt ein IMHO und IANAinformatiker)
j03: automatisierbar j02: automatisierbar (mit Aufwand)
m01: automatisierbar m02: automatisierbar m03: automatisierbar
n01: automatisierbar (mit Aufwand) n02: automatisierbar n03: automatisierbar n04: einigermassen automatisierbar
o - einigermassen automatisierbar p- einigermassen automatisierbar
Bei a04/05 kommst du bei alten Artikeln an ein Problem, weil die Versionshistorie nicht völlig komplett ist. Ausserdem hast du ein weiteres Problem, wenn Artikel in ihrer Historie durch den BKL/deBKL-Fleischwolf gezogen wurden. Ein weiteres Problem ist, wenn ein Artikel aus einer anderen wikipedia-Ausgabe übersetzt wurde (zählen dann die englischen Revisionen mit?). Da sollte es recht viele Beispiele aus en->de geben.
Vorschlag a26: Anzahl der Interwikilinks
Aus der Zahl der Interwikilinks lassen sich begrenzt Rückschlüsse zur Validität von Lemmata ableiten bzw, seeehr begrenzt zur Relevant des Lemmas in anderen Sprachen.
(und ja, natürlich bei vielen Indikatoren ist ein Mensch schneller. f01 und f02 finde ich nirgends konkretisiert, welche Auflagen welches Werkes meinst du?)
Ist auch noch nicht konkretisiert. Wahrscheinlich nehme ich die jeweils neusten und ausführlichsten Auflagen. Hast du einen Wunsch?
Naja, bei Brockhaus ist es im Falle der Enzyklopädie die 20. Auflage von 1996-99 (im Herbst kommt der erste Teil der 21. Auflage heraus, das ist wohl zu spät). Alternativ hast du noch kleinere Werke von Brockhaus zur Auswahl. Die letzte Meyers-Enzyklopädie kam 1974 heraus. Das, was heute als Meyers Taschenlexikon aus dem Bibliographischen Institut & F.A. Brockhaus ankommt, ist da etwas kondensierter. Wenn man das Meyers-Taschenlexikon nimmt, sollte man sich lieber auch Encarta oder den Brockhaus-multimedial ansehen, der eine andere Textbasis hat.
Die Nutzerstatistiken der WP sind nur bis 19. Oktober 2004 erhältlich. Dann hat Tim wegen zu hoher Serverlast den Webalizer abgeschaltet. Leider kann ich mit den Google-Treffer nicht bis zum 19. Oktober zurück.
Empfinde ich jetzt als Bruch in der Zahlensystematik.
Mathias
Ahoi Mathias Am 07.03.2005 um 14:17 schrieb Mathias Schindler:
Andreas Brändle schrieb:
Etwa ein drittel der Variabeln sind automatisch erfassbar, was ich auch mache. Ab f04 beginnt die manuelle Arbeit.
(das ist jetzt ein IMHO und IANAinformatiker)
j03: automatisierbar j02: automatisierbar (mit Aufwand)
m01: automatisierbar m02: automatisierbar m03: automatisierbar
n01: automatisierbar (mit Aufwand) n02: automatisierbar n03: automatisierbar n04: einigermassen automatisierbar
o - einigermassen automatisierbar p- einigermassen automatisierbar
Auch wenn man diese paar Variabeln vollständig automatisiert misst, bleiben trotzdem 43 Indikatoren, für welche man den Text lesen muss, um sie zu erfassen. Bei einer Stichprobe von 450 Artikeln und durchschnittlich vier Seiten sind das 1800 Seiten. 1800 Seiten lesen und codieren ist schon unheimlich viel Arbeit. Nun ver500facht man die Stichprobe auf 200000. Rechne.
Bei a04/05 kommst du bei alten Artikeln an ein Problem, weil die Versionshistorie nicht völlig komplett ist.
Ich weiss. Ist aber nicht so schlimm, weil es nur die ganz alten betrifft. Das Alter kann für die Auswertung auch in eine ordinale Skala zerlegen wie beispielsweise alt, mittelalt, jung.
Ausserdem hast du ein weiteres Problem, wenn Artikel in ihrer Historie durch den BKL/deBKL-Fleischwolf gezogen wurden.
Begriffsklärungen kommen nicht in die Stichprobe.
Ein weiteres Problem ist, wenn ein Artikel aus einer anderen wikipedia-Ausgabe übersetzt wurde (zählen dann die englischen Revisionen mit?). Da sollte es recht viele Beispiele aus en->de geben.
Das muss ich vernachlässigen
Die Nutzerstatistiken der WP sind nur bis 19. Oktober 2004 erhältlich. Dann hat Tim wegen zu hoher Serverlast den Webalizer abgeschaltet. Leider kann ich mit den Google-Treffer nicht bis zum 19. Oktober zurück.
Empfinde ich jetzt als Bruch in der Zahlensystematik.
Geht leider nicht anders. Die Variabel Nutzungshäufigkeit (Page-Views) ist meiner Meinung nach eine der wichtigsten zur Klärung der Frage, wie das Wiki-Prinzip funktioniert. Da die Nutzungsstatistiken nur bis am 19. Oktober vorhanden sind, muss ich diesen Datum als Stichtag wählen. Man nimmt, was man hat.
Vorschlag a26: Anzahl der Interwikilinks
Aus der Zahl der Interwikilinks lassen sich begrenzt Rückschlüsse zur Validität von Lemmata ableiten bzw, seeehr begrenzt zur Relevant des Lemmas in anderen Sprachen.
Gute Idee. Werd ich mir überlegen.
Lieber Gruss Andreas Brändle --
Am Montag, 7. März 2005 12:23 schrieb Andreas Brändle:
die grade aktuelle Version des Codebuchs (Version2.3) runterladen. Es ist allerdings noch nicht ganz fertig und ich würde mich sehr über Anregungen freuen.
Was mir beim ersten Überfliegen aufgefallen ist: Es fehlt eine Überprüfung auf die inhaltliche Korrektheit der Artikel. Es gibt Wikipedia-Artikel, die strotzen nur so von inhaltlichen Fehlern. Ich gebe aber zu, dass das ohne Fachwissen nur sehr aufwändig überprüfbar ist und damit vermutlich außen vor bleiben muss.
Zwei Qualitätsindikatoren hätte ich noch vorzuschlagen, die auch ohne Fachwissen überprüfbar sind, und die m.E. viele Wikipedia-Artikel qualitätsmäßig runterziehen: a) Der Artikel enthält schwammige Aussagen ala "... in alter Zeit waren die Druiden..." (in der Steinzeit? im Mittelalter? oder was?), "... in anderen Gegenden ist ...." (in welchen??) b) Der Artikel enthält Andeutungen, die nicht aufgelöst werden: "Es gibt aber auch Personen, die anders darüber denken." (Wer, was?)
Uli
Hallo Uli
Am 07.03.2005 um 13:25 schrieb Ulrich Fuchs:
Was mir beim ersten Überfliegen aufgefallen ist: Es fehlt eine Überprüfung auf die inhaltliche Korrektheit der Artikel. Es gibt Wikipedia-Artikel, die strotzen nur so von inhaltlichen Fehlern. Ich gebe aber zu, dass das ohne Fachwissen nur sehr aufwändig überprüfbar ist und damit vermutlich außen vor bleiben muss.
Ja, das ist auch für mich das grosse Ärgernis. Aber es wäre wohl sehr aufwendig Experten zu finden für "das gesamte Wissen der Menschheit". Ich glaube, dass die Korrektheit/Richtigkeit eine Variabel bleibt, die wohl nie gemessen werden kann.
Auch der Vergleich mit Brockhaus oder anderen Enzyklopädien ist zum Scheitern verurteilt. 1. Die Inhalte der Lemmas sind nicht deckungsgleich in der beiden Enzykopädien 2. Wer sagt, dass Brockhaus recht hat.
Als Alternative schlage ich aber vor, die Quellentransparenz zu messen. Wenn der Leser die Herkunft der Information selber überprüfen kann, ist dies ein Indikator für die Korrektheit.
a) Der Artikel enthält schwammige Aussagen ala "... in alter Zeit waren die Druiden..." (in der Steinzeit? im Mittelalter? oder was?), "... in anderen Gegenden ist ...." (in welchen??) b) Der Artikel enthält Andeutungen, die nicht aufgelöst werden: "Es gibt aber auch Personen, die anders darüber denken." (Wer, was?)
Das ist eine gute Idee. Ich werde mir überlegen, wie ich das einbauen kann
Cheers -- Andreas Brändle --
