<div dir="ltr">Hi!<div><br></div><div>Sorry for the extended downtime! From what we can tell, it appears as though</div><div>the machine that Gerrit is running on (lead) is having some hardware issues that</div><div>are making the CPU misbehave. We've worked around it for now, so things should</div><div>be up (and Zuul is processing CI events just fine).</div><div><br></div><div>However, since it appears it's a hardware problem, we're planning to migrate off</div><div>of lead to a new machine (cobalt). The public IP addresses will not be changing.</div><div>The plan right now is to do this migration tomorrow with a scheduled downtime</div><div>at 17:00UTC (10:00 PST).</div><div><br></div><div>We'll be keeping a close eye on things in the meantime, so if things deteriorate </div><div>again we can start the migration sooner.</div><div><br></div><div>(and yeah, wikitech incident report to follow, I'm a little burnt out right now though)</div><div><br></div><div>Thanks again for bearing with us!<br></div><div><br></div><div>-Chad</div><div><br><div class="gmail_quote"><div dir="ltr">On Thu, Oct 6, 2016 at 2:32 PM Greg Grossmeier <<a href="mailto:greg@wikimedia.org">greg@wikimedia.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">(It wasn't just you)<br class="gmail_msg">
<br class="gmail_msg">
Gerrit was down today starting around 17:49 UTC. It is now back up and<br class="gmail_msg">
services are coming back online.<br class="gmail_msg">
<br class="gmail_msg">
A full investigation into the cause of the outage is still on-going.[0]<br class="gmail_msg">
<br class="gmail_msg">
Apologies for the downtime.<br class="gmail_msg">
<br class="gmail_msg">
WMF Release Engineering<br class="gmail_msg">
<br class="gmail_msg">
[0] <a href="https://etherpad.wikimedia.org/p/gerrit-outage-20161006" rel="noreferrer" class="gmail_msg" target="_blank">https://etherpad.wikimedia.org/p/gerrit-outage-20161006</a><br class="gmail_msg">
    But this is missing a lot of the information/discussion that is<br class="gmail_msg">
    happening in #wikimedia-operations on Freenode. A link to the<br class="gmail_msg">
    incident report will be pasted into that etherpad when it is<br class="gmail_msg">
    created.<br class="gmail_msg">
<br class="gmail_msg">
--<br class="gmail_msg">
| Greg Grossmeier            GPG: B2FA 27B1 F7EB D327 6B8E |<br class="gmail_msg">
| Release Team Manager            A18D 1138 8E47 FAC8 1C7D |<br class="gmail_msg">
<br class="gmail_msg">
_______________________________________________<br class="gmail_msg">
Engineering mailing list<br class="gmail_msg">
<a href="mailto:Engineering@lists.wikimedia.org" class="gmail_msg" target="_blank">Engineering@lists.wikimedia.org</a><br class="gmail_msg">
<a href="https://lists.wikimedia.org/mailman/listinfo/engineering" rel="noreferrer" class="gmail_msg" target="_blank">https://lists.wikimedia.org/mailman/listinfo/engineering</a><br class="gmail_msg">
</blockquote></div></div></div>