Hi,<br><br>I'm interested in testing the documentation I wrote on how to set up a new swift clutser.  Would anybody be interested in being my guinea pig and attempting to set up a second swift cluster in labs?<br><br>If so, <a href="http://wikitech.wikimedia.org/view/Swift/Setup_New_Swift_Cluster_%28labs%29">documentation on wikitech</a> is the starting point.  (it's a variant of the normal swift cluster building howto page.)<br>
<br>If you find any problems with the docs, please feel free to update them.  If you have questions, ping me (maplebed) in IRC (#wikimedia-labs).  <br><br>Thanks!<br><br>-ben<br><br>p.s.  Whether or not someone's interested in trying out the docs, I will have to get 2-3 swift clusters running in labs for testing.  I will probably do this late this week or early next week if someone doesn't beat me to it.  The things that need to be tested:<br>
* upgrade swift from 1.4.3 to 1.4.7<br>* set up inter-cluster replication<br><br><div class="gmail_quote">On Tue, Mar 27, 2012 at 5:07 PM, Ben Hartshorne <span dir="ltr"><<a href="mailto:bhartshorne@wikimedia.org">bhartshorne@wikimedia.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi everyone,<br><br>Swift (running in labs) is now available to all labs projects to use for integration testing with mediawiki.  It is only available from within labs; it does not have a public IP address.  <br>
<br>You can reach swift at swift-fe1.pmtpa.wmflabs.  Just as in production, it will respond to requests sent its way using the same URL format as <a href="http://upload.wikimedia.org" target="_blank">upload.wikimedia.org</a>.  For example:<br>

curl -o /tmp/from-swift.jpg -v <a href="http://swift-fe1.pmtpa.wmflabs/wikipedia/commons/thumb/a/a2/Little_kitten_.jpg/45px-Little_kitten_.jpg" target="_blank">http://swift-fe1.pmtpa.wmflabs/wikipedia/commons/thumb/a/a2/Little_kitten_.jpg/45px-Little_kitten_.jpg</a><br>

and<br>curl -o /tmp/from-upload.jpg -v <a href="http://upload.wikimedia.org/wikipedia/commons/thumb/a/a2/Little_kitten_.jpg/45px-Little_kitten_.jpg" target="_blank">http://upload.wikimedia.org/wikipedia/commons/thumb/a/a2/Little_kitten_.jpg/45px-Little_kitten_.jpg</a><br>

will return files with the same content.<br><br>Swift in labs treats <a href="http://upload.wikimedia.org" target="_blank">upload.wikimedia.org</a> as its back end, so if you request an image that doesn't exist in swift (but does exist in upload), it will use the 404 handler and fetch the real data.  Because of this it will appear to have all the data you need, though will respond slowly at first.<br>

<br>I have only created the commons container, so right now it will only fetch images that exist in commons.  It will return 401 or 500 for all other wikis.  If there is a short list of wikis for which you would like it to work, let me know and I will create them for you.  Alternately, you can join the 'swift' project and follow <a href="http://wikitech.wikimedia.org/view/Swift/Setup_New_Swift_Cluster" target="_blank">the documentation</a> and make them yourself!  :)<br>

<br>Access credentials for mediawiki to interact with swift (1.19 purges images from swift using the swift API, etc.) are:<br>account:user - mw:thumbnail<br>password - userpassword<br><br>These credentials would be secret in any real deploy, but are currently public in labs.  (you can see all the configs in puppet)<br>

<br>For more information about mediawiki integration, talk to Aaron Schulz.  :)<br><br>Enjoy,<br><br>-ben<br>
</blockquote></div><br>