<div dir="ltr">Ok to me.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jan 30, 2017 at 7:54 PM, Yuvi Panda <span dir="ltr"><<a href="mailto:yuvipanda@gmail.com" target="_blank">yuvipanda@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">How about Feb 14? That gives us two weeks.<br>
<div class="HOEnZb"><div class="h5"><br>
On Mon, Jan 30, 2017 at 10:33 AM, Jaime Crespo <<a href="mailto:jcrespo@wikimedia.org">jcrespo@wikimedia.org</a>> wrote:<br>
> As an admin, everything you should know about the upcoming labsdb1005<br>
> reimage:<br>
><br>
> * We are ready (DBAs) to do this at any time, we just need to tell users in<br>
> advance of potential outages/degradations of service<br>
> * For 99% of the users, we will just switchover them transparently to the<br>
> slave (should not cause issues). As usual, if their application does not<br>
> retry to reconnect, there will be problems.<br>
> * For 3 users (databases), there will be full outage because they have such<br>
> a heavy usage that we cannot replicate them in real time. They were made<br>
> aware of this limitation months ago, so it should not come as a surprise:<br>
> <a href="https://phabricator.wikimedia.org/T127164" rel="noreferrer" target="_blank">https://phabricator.wikimedia.<wbr>org/T127164</a> The users's databases are<br>
> documented at:<br>
> <a href="https://phabricator.wikimedia.org/diffusion/OPUP/browse/production/templates/mariadb/tools.my.cnf.erb;f21ce599fe626e7c96010a5d0335370ebe510ca7$65" rel="noreferrer" target="_blank">https://phabricator.wikimedia.<wbr>org/diffusion/OPUP/browse/<wbr>production/templates/mariadb/<wbr>tools.my.cnf.erb;<wbr>f21ce599fe626e7c96010a5d033537<wbr>0ebe510ca7$65</a><br>
> * Data will be copied away, server will be reimaged, then data will be<br>
> copied back That normally takes 3 hours, but things could go wrong...<br>
> * People could complain for a 10.0 upgrade (?). But some people actually<br>
> complained already for the lack of 5.5 -> 10 upgrade.<br>
> <a href="https://phabricator.wikimedia.org/T138517#2796682" rel="noreferrer" target="_blank">https://phabricator.wikimedia.<wbr>org/T138517#2796682</a><br>
> * On switch-back, again bad-programmed application may temporarily fail, but<br>
> good ones should just switch transparently; unavailable dbs should be<br>
> available again<br>
><br>
> That should be enough background to schedule and send an email to users :-)<br>
><br>
> ---------- Forwarded message ----------<br>
> From: Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>><br>
> Date: Mon, Jan 30, 2017 at 7:14 PM<br>
> Subject: [Labs-admin] Report from ops meeting<br>
> To: Labs admin list for infrastructure and discussion<br>
> <<a href="mailto:labs-admin@lists.wikimedia.org">labs-admin@lists.wikimedia.<wbr>org</a>><br>
><br>
><br>
> 1. Faidon talking about ip space discussions wrt asia dc discussion,<br>
> and mentioned we might / should renumber labs IP space. Not sure about<br>
> more details.<br>
> 2. Ping on labsdb migration to Jessie<br>
> 3. Mid-year review of annual goals coming up, need status about OGE<br>
> migration<br>
><br>
> That's it.<br>
><br>
> --<br>
> Yuvi Panda T<br>
> <a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
><br>
> ______________________________<wbr>_________________<br>
> Labs-admin mailing list<br>
> <a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
> <a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
><br>
><br>
><br>
> --<br>
> Jaime Crespo<br>
> <<a href="http://wikimedia.org" rel="noreferrer" target="_blank">http://wikimedia.org</a>><br>
><br>
> ______________________________<wbr>_________________<br>
> Labs-admin mailing list<br>
> <a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
> <a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
><br>
<br>
<br>
<br>
--<br>
Yuvi Panda T<br>
<a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
<br>
______________________________<wbr>_________________<br>
Labs-admin mailing list<br>
<a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Jaime Crespo<br></div><<a href="http://wikimedia.org" target="_blank">http://wikimedia.org</a>><br></div></div>
</div>