Any details on what parts of toolslab went down? Ie services running on that virt?<span></span><br><br>On Tuesday, October 7, 2014, Andrew Bogott <<a href="mailto:abogott@wikimedia.org">abogott@wikimedia.org</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 10/7/14 5:54 PM, Andrew Bogott wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
One of the labs servers (virt1005) has just died.  Marc and I are investigating, but for the moment roughly 10% of labs instances are currently in a SHUTOFF state.  Please do not restart these instances until I send an 'all clear' message to the list.<br>
</blockquote>
Virt1005 is back up and seems to be OK.  I'm now booting all instances on that box -- they should be up and running in a few minutes, but will show signs of an unceremonious reboot so you'll want to make sure your services are all still running properly.<br>
<br>
This crash may be related to overprovisioning on virt1005... we're in the process of purchasing new hardware to expand capacity and avoid such issues in the future.<br>
<br>
Thank you again for your patience!<br>
<br>
-Andrew<br>
<br>
<br>
______________________________<u></u>_________________<br>
Labs-l mailing list<br>
<a>Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/<u></u>mailman/listinfo/labs-l</a><br>
</blockquote>