<div dir="ltr">On Tue, May 21, 2013 at 10:28 PM, Federico Leva (Nemo) <span dir="ltr"><<a href="mailto:nemowiki@gmail.com" target="_blank">nemowiki@gmail.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Ryan Lane, 21/05/2013 22:27:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">
It's not that I'm opposed to it, but it's a massive waste of resources<br>
to download from something in the network to a network fileserver, then<br></div>
to upload it to <a href="http://archive.org" target="_blank">archive.org</a> <<a href="http://archive.org" target="_blank">http://archive.org</a>>.<div class="im"><br>
<br>
Why is it necessary to write hundreds of GB to the fileserver before<br>
they are uploaded?<br>
</div></blockquote>
<br>
Sorry, I don't understand the question. Consider the request withdrawn, thanks for answering.<span class="HOEnZb"><font color="#888888"><br>
<br></font></span></blockquote><div><br>I'd like to make sure your need is handled, but I'd like to understand the need too. We've had quite a bit of discussion with Hydriz in the past about this project. It's resource intensive for us, so we try to make sure it's being done efficiently. We made the dumps available at /public/data so that it wouldn't be necessary to download them from download.wm.o, then upload them to <a href="http://archive.org">archive.org</a> (it's possible to upload them directly from the read-only dumps filesystem).<br>

<br></div><div>What I'm trying to understand is what is being written to /data/project and why it's larger than 200GB. Based on what I've been told so far, the project uploads dumps to <a href="http://archive.org">archive.org</a>. This is the first I'm hearing about uploading commons images. Are you downloading large amounts of images from upload.wm.o, writing them to /data/project, uploading them to <a href="http://archive.org">archive.org</a>, then deleting them from /data/project?<br>

</div><div><br></div><div>- Ryan<br></div></div></div></div>