<div dir="ltr"><div><div><div><div>Labs users,<br><br></div>We have completed the intended maintenance on labsdb1002, and *.labsdb should point to the original place now or in a short period of time. You can use that instance in the same way you use the others.<br><br></div>We will continue working on improving the service, but it should not create more downtime in the foreseeable future.<br></div><br></div>Regards,<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 11, 2015 at 8:27 AM, Jaime Crespo <span dir="ltr"><<a href="mailto:jcrespo@wikimedia.org" target="_blank">jcrespo@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Maintenance update:<br><br></div>We have performed the desired maintenance, including an upgrade, reboot and filesystem check, and MariaDB is available again for connection. We believe to have fixed the origin of the problems.<br><br></div>However, as the issues had caused some database integrity problems, we are refreshing and checking the production wikis data. Until further notice, later this week, I would recommend you to continue using labsdb1001 and labsdb1003 or you will run the risk of working with stale data.<br><br>The user's own databases are available and are not affected by this.<br><br></div>Thank you for your understanding,<br></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jun 8, 2015 at 4:46 PM, Yuvi Panda <span dir="ltr"><<a href="mailto:yuvipanda@gmail.com" target="_blank">yuvipanda@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">We will redirect *.labsdb to point to another database before the<br>
beginning of the window. However this might still affect you if you<br>
have a user database on labsdb1002.<br>
<div><div><br>
On Mon, Jun 8, 2015 at 2:38 PM, Jaime Crespo <<a href="mailto:jcrespo@wikimedia.org" target="_blank">jcrespo@wikimedia.org</a>> wrote:<br>
> As a follow up, labsdb1002 has been scheduled for downtime maintenance,<br>
> starting on 2015-06-10 07:00 UTC and will be unavailable until further<br>
> notice.<br>
><br>
> While we expect that the disruption will take only 1 day or less, we are<br>
> unsure if we will found more complicated issues during the outage that would<br>
> force us to prolong the maintenance.<br>
><br>
> I would recommend to switch your queries before that date temporarily to<br>
> lasbdb1001 or labsdb1003, which will not be affected by the maintenance. I<br>
> will send here again what is the status when the works are finished.<br>
><br>
> Regards,<br>
><br>
> On Sun, Jun 7, 2015 at 9:49 AM, Sean Pringle <<a href="mailto:springle@wikimedia.org" target="_blank">springle@wikimedia.org</a>> wrote:<br>
>><br>
>> <a href="https://phabricator.wikimedia.org/T101567" target="_blank">https://phabricator.wikimedia.org/T101567</a><br>
>><br>
>> labsdb1002 had a conniption, possibly related to XFS, and causing some<br>
>> unsettling DB replication glitches. Full investigation and (probable)<br>
>> resync yet to be done.<br>
>><br>
>> So, heads up. If you spot anything odd, best to switch to one of the<br>
>> other replicas: lasbdb1001 or labsdb1003<br>
>><br>
>> -s<br>
>><br>
>> _______________________________________________<br>
>> Labs-l mailing list<br>
>> <a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
>> <a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Jaime Crespo<br>
> <<a href="http://wikimedia.org" target="_blank">http://wikimedia.org</a>><br>
><br>
> _______________________________________________<br>
> Labs-l mailing list<br>
> <a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
> <a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
><br>
<br>
<br>
<br>
--<br>
</div></div>Yuvi Panda T<br>
<a href="http://yuvi.in/blog" target="_blank">http://yuvi.in/blog</a><br>
<div><div><br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div><div dir="ltr"><div>Jaime Crespo<br></div><<a href="http://wikimedia.org" target="_blank">http://wikimedia.org</a>><br></div></div>
</div>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div>Jaime Crespo<br></div><<a href="http://wikimedia.org" target="_blank">http://wikimedia.org</a>><br></div></div>
</div>