On Wed, Dec 31, 2003 at 01:45:10AM +0100, Arne Klempert (akl) wrote:
On Tuesday, December 30, 2003 11:36 PM Der Server-Ausfall kann ja wohl kein Argument sein: Solche bedauerlichen Ausfälle, wie in den letzten Tagen, würden mit einem europäischen Server nicht weniger wahrscheinlich werden. Im Gegenteil: Mit der aktuellen Spendensumme läßt sich die technische Infrastruktur in den USA professionell ausbauen und gegen Hardware-Ausfälle absichern. Ich wage allerdings zu bezweifeln, dass sich für einen europäischen Standort ein Sponsor findet, der nicht nur _einen_ Server samt Traffic zahlt, sondern ein komplettes, ausfallsicheres System bereitstellt oder finanziert.
Universität sicher. MetaGer wird ja auch von einer gesponsort. Debian-Mirrors findest du zu 50% auch auf Uni-Rechnern. Selbst wenn sich kein Komplett-Sponsor findet sollte es möglich sein.
Eine physikalische Trennung könnte auch noch andere Probleme mit sich bringen. Man denke nur mal an eine zentrale Bilddatenbank für alle Wikipedias.
Ich kann mich erinnern dass diese zentrale Datenbank bisher immer wieder abgeschmettert wird. Der Speicherplatz ist da und es würde eine einsprachige CD-Version nur erschweren. Falls du soviele Bilder hast, pywikipediabot kann da eine gute Hilfe beim upload sein.
ciao, tom
"Thomas R. Koll" tomk32@gmx.de writes:
Falls du soviele Bilder hast, pywikipediabot kann da eine gute Hilfe beim upload sein.
Was ist das? Hilft das auch, wenn man Bilder erstmalig hochladen will? Vielleicht könnte ich das anstelle des Perl-Skripts verwenden?
On Wed, Dec 31, 2003 at 12:06:01PM +0100, Karl Eichwalder wrote:
"Thomas R. Koll" tomk32@gmx.de writes:
Falls du soviele Bilder hast, pywikipediabot kann da eine gute Hilfe beim upload sein.
Was ist das? Hilft das auch, wenn man Bilder erstmalig hochladen will? Vielleicht könnte ich das anstelle des Perl-Skripts verwenden?
Du kannst ja mal vergleichen welches besser ist: http://pywikipediabot.sourceforge.net
Ist vom Niederländer Rob Hooft geschrieben und sehr leicht für andere Aufgaben zu verwenden.
ciao, tom
"Thomas R. Koll" tomk32@gmx.de writes:
On Wed, Dec 31, 2003 at 12:06:01PM +0100, Karl Eichwalder wrote:
Was ist das? Hilft das auch, wenn man Bilder erstmalig hochladen will?
Du kannst ja mal vergleichen welches besser ist: http://pywikipediabot.sourceforge.net
Tut sehr schön.
Ist vom Niederländer Rob Hooft geschrieben und sehr leicht für andere Aufgaben zu verwenden.
Nun muß upload.py nur noch lernen, die Jobs aus einer Datei zu lesen (das werde ich ihm wohl beibiegen können); schwieriger wird dann dann, wenn er dann auch noch die Locale richtig auswerten soll - ich arbeite in der Regel mit LANG=de_DE.UTF-8.
On Sat, Jan 10, 2004 at 11:46:00AM +0100, Karl Eichwalder wrote:
"Thomas R. Koll" tomk32@gmx.de writes:
On Wed, Dec 31, 2003 at 12:06:01PM +0100, Karl Eichwalder wrote:
Was ist das? Hilft das auch, wenn man Bilder erstmalig hochladen will?
Du kannst ja mal vergleichen welches besser ist: http://pywikipediabot.sourceforge.net
Tut sehr schön.
Ist vom Niederländer Rob Hooft geschrieben und sehr leicht für andere Aufgaben zu verwenden.
Nun muß upload.py nur noch lernen, die Jobs aus einer Datei zu lesen (das werde ich ihm wohl beibiegen können); schwieriger wird dann dann, wenn er dann auch noch die Locale richtig auswerten soll - ich arbeite in der Regel mit LANG=de_DE.UTF-8.
for arg in sys.argv[1:]: if arg.startswith('-file:'):
f=open(arg[6:], 'r') R=re.compile(r'.*[[([^]]*)]].*') m = False for line in f.readlines(): m=R.match(line) if m: articles.append(m.group(1)) else: print "ERROR: Did not understand %s line:\n%s" % ( arg[6:], repr(line)) f.close() elif wikipedia.argHandler(arg): pass else: articles.append(arg)
ciao, tom
"Thomas R. Koll" tomk32@gmx.de writes:
for arg in sys.argv[1:]: if arg.startswith('-file:'):
So ungefähr. Bei der Eingabedatei "job.txt" verwende ich momentan dieses Format - eigentlich müßte ich ja XML verwenden:
2004-01-03/atzenhof-solar-modul-unten-v-s.jpg [[Atzenhof]], Solarkraftwerk, ein Einzelmodul von unten, von S (2004-01-03); Fotograph: keichwa. -=- 2004-01-03/atzenhof-solar-module-weg-v-s.jpg [[Atzenhof]], Solarkraftwerk, eine eingezäunte Modulreihe und der Weg, von S (2004-01-03); Fotograph: keichwa. -=-
Also:
Dateiname 1 Beschreibung 1 -=- Dateiname 2 Beschreibung 2 -=-
Jetzt muß ich noch herausfinden, wie ich Artikel via Bot zur Beobachtung markieren kann. Tips?
Hier mein Patch gegen upload.py (mit üblen Hartkodierungen, es ist mein erster Python-Patch überhaupt):
--- upload.py 2003-11-16 16:37:36.000000000 +0100 +++ ke-upload.py 2004-01-10 16:56:18.000000000 +0100 @@ -93,33 +93,47 @@ print "Uploading image to ",wikipedia.langs[wikipedia.mylang]
def main(): - fn = raw_input('File or URL where image is now : ') - # Get file contents - import urllib - file = urllib.urlopen(fn) - contents = file.read() - file.close() - # Isolate the pure name - if '/' in fn: - fn = fn.split('/')[-1] - if '\' in fn: - fn = fn.split('\')[-1] - print "The filename on wikipedia will default to:",fn - newfn = raw_input("Better name : ") - if newfn: - fn = newfn - - # A proper description for the submission - description = raw_input('Description : ') + import urllib,os + fn = "job.txt" + start = 1 + text = '' + if os.path.exists(fn): + f=open(fn) + for line in f.readlines(): + if line == "-=-\n": + + file = urllib.urlopen(img) + contents = file.read() + file.close() + # Isolate the pure name + if '/' in img: + img = img.split('/')[-1] + + if '\' in fn: + img = img.split('\')[-1] + print "The filename on wikipedia will default to:",img + + description = text + + data = post_multipart(wikipedia.langs[wikipedia.mylang], + uploadaddr, + (('wpUploadDescription', description), + ('wpUploadAffirm', '1'), + ('wpUpload','upload bestand')), + (('wpUploadFile',img,contents),) + )
- data = post_multipart(wikipedia.langs[wikipedia.mylang], - uploadaddr, - (('wpUploadDescription', description), - ('wpUploadAffirm', '1'), - ('wpUpload','upload bestand')), - (('wpUploadFile',fn,contents),) - ) + start = 1 + text = '' + continue
+ if start: + img = line + start = False + continue + + text = text + line + return fn
if __name__=="__main__":
On Sat, Jan 10, 2004 at 05:04:27PM +0100, Karl Eichwalder wrote:
"Thomas R. Koll" tomk32@gmx.de writes:
for arg in sys.argv[1:]: if arg.startswith('-file:'):
So ungefähr. Bei der Eingabedatei "job.txt" verwende ich momentan dieses Format - eigentlich müßte ich ja XML verwenden:
2004-01-03/atzenhof-solar-modul-unten-v-s.jpg [[Atzenhof]], Solarkraftwerk, ein Einzelmodul von unten, von S (2004-01-03); Fotograph: keichwa. -=- 2004-01-03/atzenhof-solar-module-weg-v-s.jpg [[Atzenhof]], Solarkraftwerk, eine eingezäunte Modulreihe und der Weg, von S (2004-01-03); Fotograph: keichwa. -=-
Also:
Dateiname 1 Beschreibung 1 -=- Dateiname 2 Beschreibung 2 -=-
sollte ja einfach zu parsen sein. Schu auf der Python-Seite mal nach dem Module re das sind die Regulären Ausdrücke
Jetzt muß ich noch herausfinden, wie ich Artikel via Bot zur Beobachtung markieren kann. Tips?
in wikipedia.py die Funktion putPage ... data = urlencode(( ('wpWatchthis', config.watchArticles), ('wpSummary', comment), ...
und dann in config.py einfach watchArticles = True setzen. Hab's nicht getestet!
Hier mein Patch gegen upload.py (mit üblen Hartkodierungen, es ist mein erster Python-Patch überhaupt):
das nächste Mal bitte mit diff -w oder lass die Einrückungen so wie sie sind.
Falls du den Patch im bot haben willst, musst du mit Rob Hooft schreiben.
ciao, tom
"Thomas R. Koll" tomk32@gmx.de writes:
Also:
Dateiname 1 Beschreibung 1 -=- Dateiname 2 Beschreibung 2 -=-sollte ja einfach zu parsen sein. Schu auf der Python-Seite mal nach dem Module re das sind die Regulären Ausdrücke
Ich habe doch einen Parse-Algorithmus bereits drin :)
in wikipedia.py die Funktion putPage ... data = urlencode(( ('wpWatchthis', config.watchArticles), ('wpSummary', comment), ...
und dann in config.py einfach watchArticles = True setzen. Hab's nicht getestet!
Das werde ich mal ausprobieren.
Hier mein Patch gegen upload.py (mit üblen Hartkodierungen, es ist mein erster Python-Patch überhaupt):
Falls du den Patch im bot haben willst, musst du mit Rob Hooft schreiben.
Nö, das ist erstmal nicht erforderlich (ich müßte den Patch erst mit dem originalen interaktiven Modus kompatibel machen) - ich hatte es nur gepostet, im Falle vielleicht sonst jemand dran interessiert wäre.
On Sat, Jan 10, 2004 at 10:45:05PM +0100, Karl Eichwalder wrote:
"Thomas R. Koll" tomk32@gmx.de writes:
Also:
Dateiname 1 Beschreibung 1 -=- Dateiname 2 Beschreibung 2 -=-sollte ja einfach zu parsen sein. Schu auf der Python-Seite mal nach dem Module re das sind die Regulären Ausdrücke
Ich habe doch einen Parse-Algorithmus bereits drin :)
Du solltest vielleicht zwischen Bildbeschreibung, Bild-Seite und Alt-Text unterscheiden. ciao, tom
"Thomas R. Koll" tomk32@gmx.de writes:
Du solltest vielleicht zwischen Bildbeschreibung, Bild-Seite und Alt-Text unterscheiden.
Das ist generell nicht möglich. Je nach dem in welchem Kontext man das Bilder verwendet, braucht man andere Angaben. Auf der Bildseite trage ich immer die Sachen ein, die mir gerade wesentlich sind.
Bald wird in dieser Ecke sowieso etwas verbessert werden, so daß man nur noch eine Große hochladen muß, woraus dann Thumbnails automatisch generiert werden.
Karl Eichwalder ke@gnu.franken.de writes:
in wikipedia.py die Funktion putPage ... data = urlencode(( ('wpWatchthis', config.watchArticles), ('wpSummary', comment), ...
und dann in config.py einfach watchArticles = True setzen. Hab's nicht getestet!
Das werde ich mal ausprobieren.
Die Variable muß irgendwie anders heißen - ist aber im Moment nicht so wichtig (ich werde später mal Rob Hooft fragen). Insgesamt ist der/das Upload via Script auf jedenfall ein großer Fortschritt - da kann man in Ruhe Beschreibungen und Verlinkungen vorbereiten.
Thomas R. Koll schrieb:
Man denke nur mal an eine zentrale Bilddatenbank für alle Wikipedias.
Ich kann mich erinnern dass diese zentrale Datenbank bisher immer wieder abgeschmettert wird.
Warum eigentlich? Es sprechen doch nun wirklich keine technischen Gründe gegen ein zentrales Repository. Scheitert das nicht einfach "nur" daran, dass es niemand programmiert?
MfG -asb
On Wed, Dec 31, 2003 at 07:33:07PM +0100, Agon S. Buchholz wrote:
Thomas R. Koll schrieb:
Man denke nur mal an eine zentrale Bilddatenbank für alle Wikipedias.
Ich kann mich erinnern dass diese zentrale Datenbank bisher immer wieder abgeschmettert wird.
Warum eigentlich? Es sprechen doch nun wirklich keine technischen Gründe gegen ein zentrales Repository. Scheitert das nicht einfach "nur" daran, dass es niemand programmiert?
Auf en: ist "fair use" erlaubt bei uns sind wir mit der GPL um einiges strikter. Einsprachige CD-Version hab ich schon erwähnt. Programmieren will's auch (noch) keiner. Nutzen wäre vielleicht bei 50% der Bilder gegeben. Oft wird sicher aber ein anderes Bild hochgeladen weil der User einfach nicht weiß dass auf en: oder sonstwo schon ein Bild existiert.
guten Rutch, tom