<div dir="ltr">Thanks for the updates, and for continuing to work on this after business hours (at least for folks in SF).<br><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div><div><span style="background-color:rgb(217,234,211)"><span style="background-color:rgb(255,255,255)"><font style="white-space:nowrap;color:#000000"><font color="#01796F"><span style="color:rgb(0,0,0)">Pine</span></font></font></span></span><br></div><span style="color:rgb(102,102,102)"></span><br></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Thu, Jun 29, 2017 at 6:25 PM, Andrew Bogott <span dir="ltr"><<a href="mailto:abogott@wikimedia.org" target="_blank">abogott@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">After various failed measures, we're now trying to revert back to the older kernel and switching back between NFS servers yet again.  So Tools NFS (and various associated services) will probably break, at least for a few minutes.<br>
<br>
With luck this will get us into a stable place, but I'll update again regardless.<br>
<br>
-Andrew<br>
<br>
<br>
On 6/29/17 3:27 PM, Andrew Bogott wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
    The tools cluster is suffering from several maladies right now. Existing services seem to be mostly fine, but any kubernetes services that tried to restart in the last few hours probably failed to start, and new things are still failing to start.  Similarly, web services and other tools are failing to restart in several cases.<br>
<br>
    There are various theories as to what's going on -- most likely it's a kernel-version incompatibility with the newly upgraded NFS server.  There was an earlier ldap outage which is better understood and should be resolved by now.<br>
<br>
    We apologize for the inconvenience, and are working frantically to restore stability.  There will be a follow-up email when things are resolved.<br>
<br>
-Andrew<br>
<br>
<br>
</blockquote>
<br>
<br>
______________________________<wbr>_________________<br>
Labs-announce mailing list<br>
<a href="mailto:Labs-announce@lists.wikimedia.org" target="_blank">Labs-announce@lists.wikimedia.<wbr>org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-announce" rel="noreferrer" target="_blank">https://lists.wikimedia.org/ma<wbr>ilman/listinfo/labs-announce</a><br>
______________________________<wbr>_________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/ma<wbr>ilman/listinfo/labs-l</a><br>
</blockquote></div><br></div></div>