<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Jun 8, 2016 at 4:48 PM, Antoine Musso <span dir="ltr"><<a href="mailto:hashar+wmf@free.fr" target="_blank">hashar+wmf@free.fr</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 08/06/16 18:47, Antoine Musso wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Le 08/06/2016 à 15:02, Antoine Musso a écrit :<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
The operation team has worked hard this European morning to backup<br>
files, investigate the raid issue and setup a new host.<br>
<br>
We are in the process of reinstalling everything on the new host and<br>
bring back Jenkins and Zuul on it.<br>
<br>
No ETA yet, since a 5 years old boxes must have hidden issues which<br>
makes it hard to estimate how long it would need to fully recover.<br>
</blockquote>
<br>
A status update:<br>
<br>
Ops (Jaime, Faidon, Mark, Chris) had a disk replaced and the raid array<br>
is rebuilding right now.  Should take roughly an hour from now.  If the<br>
disk and raid are confirmed to be fine, we would bring back Jenkins and<br>
Zuul.<br>
<br>
A new server has been installed contint1001. Jenkins data are being<br>
copied there.  We would need to adjust a few network rules and update IP<br>
address in configuration files then attempt to switch to that new setup.<br>
<br>
Main task is:<br>
<a href="https://phabricator.wikimedia.org/T137265" rel="noreferrer" target="_blank">https://phabricator.wikimedia.org/T137265</a><br>
</blockquote>
<br></span>
The CI service is back since 19:00 UTC after a disk got replaced and the RAID array rebuild successfully.<br></blockquote><div><br></div><div>Thanks hashar and everyone who helped out.</div><div><br></div><div>Cheers,<br>Katie</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
The issue might well occurs again and we would move the various services out of the server (gallium).<span class="HOEnZb"><font color="#888888"><br>
<br>
-- <br>
Antoine Musso</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
<br>
<br>
_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr">@wikidata</div></div></div></div>
</div></div>