<div class="gmail_quote">On Thu, Mar 29, 2012 at 2:42 PM, Platonides <span dir="ltr"><<a href="mailto:platonides@gmail.com">platonides@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">On 28/03/12 02:07, Ben Hartshorne wrote:<br>
> Hi everyone,<br>
><br>
> Swift (running in labs) is now available to all labs projects to use for<br>
> integration testing with mediawiki.  It is only available from within<br>
> labs; it does not have a public IP address.<br>
><br>
</div>> Swift in labs treats <a href="http://upload.wikimedia.org" target="_blank">upload.wikimedia.org</a> <<a href="http://upload.wikimedia.org" target="_blank">http://upload.wikimedia.org</a>><br>
<div class="im">> as its back end, so if you request an image that doesn't exist in swift<br>
> (but does exist in upload), it will use the 404 handler and fetch the<br>
> real data.  Because of this it will appear to have all the data you<br>
> need, though will respond slowly at first.<br>
><br>
> I have only created the commons container, so right now it will only<br>
> fetch images that exist in commons.  It will return 401 or 500 for all<br>
> other wikis.  If there is a short list of wikis for which you would like<br>
> it to work, let me know and I will create them for you.  Alternately,<br>
> you can join the 'swift' project and follow the documentation<br>
</div>> <<a href="http://wikitech.wikimedia.org/view/Swift/Setup_New_Swift_Cluster" target="_blank">http://wikitech.wikimedia.org/view/Swift/Setup_New_Swift_Cluster</a>> and<br>
> make them yourself!  :)<br>
<br>
Great!<br>
<br>
What will happen when someone decides to iterate all commons files from<br>
labs? Will swift-labs begin discarding non-owned files in some LRU kind?<br>
Or will it stubbornly try to keep all of them until it fills its disks<br>
and is no longer able to operate?<br></blockquote><div><br>Swift won't do any sort of auto-discarding; it will be very stubborn and try and take it all.  I don't know what Swift's failure mode is when the disks fill.  It'd be worth a test to create a cluster with an artificially tiny amount of backend storage and test it out and see what happens.  The current labs swift cluster has 4 backend hosts with 20G each, which means 80 / 3 total G of available space (because swift writes every object 3 times).  <br>
<br>My guess - some sort of 500 error.  <br><br>-ben<br><br></div></div>