all instances? is it ok now?<br><br>On Friday, June 1, 2012, Ryan Lane  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I'm now going to reboot the instances, since it'll bring the swapping<br>

down for a while.<br>
<br>
On Fri, Jun 1, 2012 at 12:24 PM, Ryan Lane <<a href="javascript:;" onclick="_e(event, 'cvml', 'rlane32@gmail.com')">rlane32@gmail.com</a>> wrote:<br>
> We're currently having a Labs outage. The nfs server because<br>
> non-responsive, causing a cascading failure. I'm suspending instances<br>
> currently, until load comes down. Once load is under control I'll<br>
> slowly resume instances. Soon, we'll be doing the following things to<br>
> ensure this doesn't continue to occur:<br>
><br>
> 1. We're moving away from glusterfs to local storage on the virtual<br>
> nodes until we find another more appropriate solution<br>
> 2. We're getting rid of the labs-nfs1 instance, and will move the home<br>
> directories to project storage<br>
> 3. We're adding more (and better) hardware, that will lead to less<br>
> swapping, which will lead to less IO<br>
><br>
> Sorry about the experience as of late, I'm looking forward to<br>
> improving the situation for us.<br>
><br>
> - Ryan<br>
<br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="javascript:;" onclick="_e(event, 'cvml', 'Labs-l@lists.wikimedia.org')">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</blockquote><br><br>-- <br><div>Sincerely,</div><div>Shujen Chang</div><br>