<div dir="ltr">Hi Emilio,<div><br></div><div>You're probably aware of it, but one way to handle your own installs is to use virtual environments: <a href="https://virtualenv.pypa.io/en/latest/">https://virtualenv.pypa.io/en/latest/</a></div>
<div><br></div><div>BTW, the Python utilities you pointed to is now deprecated in favour of a newer version, but the newer version is Python 3.x only: <a href="http://pythonhosted.org/mediawiki-utilities/">http://pythonhosted.org/mediawiki-utilities/</a></div>
<div><br></div><div>I have the older version of his utilities installed in my virtual environment. When I processed the English dump about a month ago I used tools-dev for testing and then submitted jobs to the job servers when it was ready, running over the smaller split files of the dump for parallelisation and less memory usage.</div>
<div><br></div><div>From what I've heard the newer library is considerably faster than the 2.x version, but I haven't yet had a project where I could test that.</div><div><br></div><div><br></div><div>Regards,</div>
<div>Morten</div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 11 May 2014 13:10, Emilio J. Rodríguez-Posada <span dir="ltr"><<a href="mailto:emijrp@gmail.com" target="_blank">emijrp@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi;<br><br></div>I would like to process some Wikipedia dumps. The right place for this is tools-dev? I don't see Wikimedia Utilities[1] available there.<br>
<br>Do I have to install it or this is a task for an admin?<br>

<br>Regards<br><br>[1] <a href="https://bitbucket.org/halfak/wikimedia-utilities/wiki/Home" target="_blank">https://bitbucket.org/halfak/wikimedia-utilities/wiki/Home</a><br></div>
<br>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br></div>