<div dir="ltr"><div><div><div><div><div>As an admin, everything you should know about the upcoming labsdb1005 reimage:<br><br></div>* We are ready (DBAs) to do this at any time, we just need to tell users in advance of potential outages/degradations of service<br></div>* For 99% of the users, we will just switchover them transparently to the slave (should not cause issues). As usual, if their application does not retry to reconnect, there will be problems.<br></div>* For 3 users (databases), there will be full outage because they have such a heavy usage that we cannot replicate them in real time. They were made aware of this limitation months ago, so it should not come as a surprise: <a href="https://phabricator.wikimedia.org/T127164">https://phabricator.wikimedia.org/T127164</a> The users's databases are documented at: <a href="https://phabricator.wikimedia.org/diffusion/OPUP/browse/production/templates/mariadb/tools.my.cnf.erb;f21ce599fe626e7c96010a5d0335370ebe510ca7$65">https://phabricator.wikimedia.org/diffusion/OPUP/browse/production/templates/mariadb/tools.my.cnf.erb;f21ce599fe626e7c96010a5d0335370ebe510ca7$65</a><br></div>* Data will be copied away, server will be reimaged, then data will be copied back That normally takes 3 hours, but things could go wrong...<br></div>* People could complain for a 10.0 upgrade (?). But some people actually complained already for the lack of 5.5 -> 10 upgrade. <a href="https://phabricator.wikimedia.org/T138517#2796682">https://phabricator.wikimedia.org/T138517#2796682</a><br><div><div>* On switch-back, again bad-programmed application may temporarily fail, but good ones should just switch transparently; unavailable dbs should be available again<br></div><div><br></div><div>That should be enough background to schedule and send an email to users :-)<br><br></div><div><div><div><div><div><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Yuvi Panda</b> <span dir="ltr"><<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>></span><br>Date: Mon, Jan 30, 2017 at 7:14 PM<br>Subject: [Labs-admin] Report from ops meeting<br>To: Labs admin list for infrastructure and discussion <<a href="mailto:labs-admin@lists.wikimedia.org">labs-admin@lists.wikimedia.org</a>><br><br><br>1. Faidon talking about ip space discussions wrt asia dc discussion,<br>
and mentioned we might / should renumber labs IP space. Not sure about<br>
more details.<br>
2. Ping on labsdb migration to Jessie<br>
3. Mid-year review of annual goals coming up, need status about OGE migration<br>
<br>
That's it.<br>
<span class="gmail-HOEnZb"><font color="#888888"><br>
--<br>
Yuvi Panda T<br>
<a target="_blank" rel="noreferrer" href="http://yuvi.in/blog">http://yuvi.in/blog</a><br>
<br>
______________________________<wbr>_________________<br>
Labs-admin mailing list<br>
<a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
<a target="_blank" rel="noreferrer" href="https://lists.wikimedia.org/mailman/listinfo/labs-admin">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
</font></span></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div>Jaime Crespo<br></div><<a target="_blank" href="http://wikimedia.org">http://wikimedia.org</a>><br></div></div>
</div></div></div></div></div></div></div>