<div dir="ltr">All volumes are now up and should be working properly. If you have any issues with home directories, project storage, or login issues, let me know.</div><div class="gmail_extra"><br><br><div class="gmail_quote">

On Tue, Jan 29, 2013 at 7:29 PM, Ryan Lane <span dir="ltr"><<a href="mailto:rlane@wikimedia.org" target="_blank">rlane@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr">An update:<div><br></div><div>This is still ongoing. Most projects are back up and functional, but there's still a few that need to be brought back online. Gluster is running self-heals on all of the volumes, so gluster may be slower than normal tonight.</div>


</div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Jan 29, 2013 at 2:03 PM, Ryan Lane <span dir="ltr"><<a href="mailto:rlane@wikimedia.org" target="_blank">rlane@wikimedia.org</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Logins and project storage are having an outage now. I pushed a point upgrade, which unfortunately gluster didn't handle well. The processes aren't connecting to each other, so the entire cluster is down. I'm working on fixing it now.<span><font color="#888888"><div>



<br></div><div>- Ryan</div></font></span></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>