<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On 18 August 2015 at 10:41, Merlijn van Deen <span dir="ltr"><<a href="mailto:valhallasw@arctus.nl" target="_blank">valhallasw@arctus.nl</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class="">On 18 August 2015 at 03:22, Thomas Tanon <span dir="ltr"><<a href="mailto:thomaspt@hotmail.fr" target="_blank">thomaspt@hotmail.fr</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Is it related to the current current hight load on the tools labs grid?<br></blockquote><div><br></div></span><div>This was caused by three of the 10 nodes being out of rotation (one disabled for the restart today, two had not come back up correctly after the earlier reboots). Those two have been restarted, and an extra execution node has been added, so we should be ok for now. We'll take more care about making sure the hosts come back up after the coming reboots.</div></div></div></div></blockquote><div><br></div><div>A post-mortem & a list of actionables for this outage is now available at <a href="https://wikitech.wikimedia.org/wiki/Incident_documentation/20150817-ToolLabs-WebgridOutage">https://wikitech.wikimedia.org/wiki/Incident_documentation/20150817-ToolLabs-WebgridOutage</a></div><div><br></div><div>Best,</div><div>Merlijn </div></div></div></div>