<p dir="ltr">I just want to reiterate that having tools be available near 100 percent uptime is valuable. If something needs to change in tool labs to make them more reliable, such as simplification or reduction of dependencies, or increase in redundancy, I hope that this will be explored after the immediate problems are fixed.</p>
<p dir="ltr">Thanks (:</p>
<p dir="ltr">Pine</p>
<div class="gmail_quote">On Feb 17, 2015 12:01 PM, "Andrew Bogott" <<a href="mailto:abogott@wikimedia.org">abogott@wikimedia.org</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 2/17/15 10:49 AM, Andrew Bogott wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
No data was lost.  I'm currently migrating VMs from virt1005 onto a new, more trustworthy server. All affected instances will start back up one by one over the next hour or so.<br>
</blockquote>
There turn out to be some MASSIVE instances on that box, so the copy is taking longer than I expected.  Still chugging along though.<br>
<br>
-A<br>
<br>
<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
-Andrew<br>
<br>
<br>
On 2/17/15 9:31 AM, Andrew Bogott wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
One of the labs virtualization hosts, virt1005, is suffering a disk failure.  I'm restarting right now -- that may allow us to gradually recover.  If we're less lucky, then rebuilding from the outage will be a prolonged process.<br>
<br>
A list of affected instances can be found here:<br>
<br>
<a href="https://phabricator.wikimedia.org/P305" target="_blank">https://phabricator.wikimedia.<u></u>org/P305</a><br>
<br>
Note that this box was hosting the Tools web proxy, so the web interface for most tools is currently down.  That should be easy to rebuild if necessary, and will be a high priority.<br>
<br>
Updates as events warrant!<br>
<br>
-Andrew<br>
</blockquote>
<br>
</blockquote>
<br>
<br>
______________________________<u></u>_________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/<u></u>mailman/listinfo/labs-l</a><br>
</blockquote></div>