<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jan 31, 2017 at 11:07 PM, Yuvi Panda <span dir="ltr"><<a href="mailto:yuvipanda@gmail.com" target="_blank">yuvipanda@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I've drafted <a href="https://etherpad.wikimedia.org/p/toolsdb-upgrade" rel="noreferrer" target="_blank">https://etherpad.wikimedia.<wbr>org/p/toolsdb-upgrade</a>. Things<br>
to get from DBA:<br>
<br>
1. Time - does 5PM UTC (which will be 9AM PST) ok, or do you want it<br>
to be earlier? We can probably make it earlier if chase or andrew or<br>
bd808 (who are on an earlier TZ) can be around, or if the DBAs are ok<br>
with doing this without us being around. Worst case I can wake up<br>
really early :)<br></blockquote><div><br></div><div>5PM UTC works for me!</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
2. Total duration - I've said '6h' as a conservative estimate. Too<br>
much / too little?<br>
<br></blockquote><div><br></div><div><br></div><div>We'd need to: </div><div>- copy the data somewhere (it is 1.6T, so I guess it will take around 1.40-1.45h, let's make it 2h)</div><div>- reimage (let's say 15-20 minutes?)</div><div>- copy the data back (again, I guess we can make it 2h to be on the safe side)</div><div><br></div><div>I would say 6h is enough, but I have no idea how many unexpected things we are afraid to find here. As per my chats with Yuvi, many :-)</div><div>So 6h sounds reasonable to me!</div><div><br></div><div>Just my opinion!</div><div>Thanks!!</div><div><br></div><div>Manuel.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Thanks!<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
On Tue, Jan 31, 2017 at 12:59 PM, Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>> wrote:<br>
> Anyone object?<br>
><br>
> On Tue, Jan 31, 2017 at 12:58 PM, Jaime Crespo <<a href="mailto:jcrespo@wikimedia.org">jcrespo@wikimedia.org</a>> wrote:<br>
>> Ok, too.<br>
>><br>
>> On Tue, Jan 31, 2017 at 9:52 PM, Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>> wrote:<br>
>>><br>
>>> Actually I've just been told that Feb 14 is valentine's day and I<br>
>>> might be tasked with other duties on that day. Sorry! Feb 15?<br>
>>><br>
>>> On Mon, Jan 30, 2017 at 10:57 AM, Jaime Crespo <<a href="mailto:jcrespo@wikimedia.org">jcrespo@wikimedia.org</a>><br>
>>> wrote:<br>
>>> > Ok to me.<br>
>>> ><br>
>>> > On Mon, Jan 30, 2017 at 7:54 PM, Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>> wrote:<br>
>>> >><br>
>>> >> How about Feb 14? That gives us two weeks.<br>
>>> >><br>
>>> >> On Mon, Jan 30, 2017 at 10:33 AM, Jaime Crespo <<a href="mailto:jcrespo@wikimedia.org">jcrespo@wikimedia.org</a>><br>
>>> >> wrote:<br>
>>> >> > As an admin, everything you should know about the upcoming labsdb1005<br>
>>> >> > reimage:<br>
>>> >> ><br>
>>> >> > * We are ready (DBAs) to do this at any time, we just need to tell<br>
>>> >> > users<br>
>>> >> > in<br>
>>> >> > advance of potential outages/degradations of service<br>
>>> >> > * For 99% of the users, we will just switchover them transparently to<br>
>>> >> > the<br>
>>> >> > slave (should not cause issues). As usual, if their application does<br>
>>> >> > not<br>
>>> >> > retry to reconnect, there will be problems.<br>
>>> >> > * For 3 users (databases), there will be full outage because they<br>
>>> >> > have<br>
>>> >> > such<br>
>>> >> > a heavy usage that we cannot replicate them in real time. They were<br>
>>> >> > made<br>
>>> >> > aware of this limitation months ago, so it should not come as a<br>
>>> >> > surprise:<br>
>>> >> > <a href="https://phabricator.wikimedia.org/T127164" rel="noreferrer" target="_blank">https://phabricator.wikimedia.<wbr>org/T127164</a> The users's databases are<br>
>>> >> > documented at:<br>
>>> >> ><br>
>>> >> ><br>
>>> >> > <a href="https://phabricator.wikimedia.org/diffusion/OPUP/browse/production/templates/mariadb/tools.my.cnf.erb;f21ce599fe626e7c96010a5d0335370ebe510ca7$65" rel="noreferrer" target="_blank">https://phabricator.wikimedia.<wbr>org/diffusion/OPUP/browse/<wbr>production/templates/mariadb/<wbr>tools.my.cnf.erb;<wbr>f21ce599fe626e7c96010a5d033537<wbr>0ebe510ca7$65</a><br>
>>> >> > * Data will be copied away, server will be reimaged, then data will<br>
>>> >> > be<br>
>>> >> > copied back That normally takes 3 hours, but things could go wrong...<br>
>>> >> > * People could complain for a 10.0 upgrade (?). But some people<br>
>>> >> > actually<br>
>>> >> > complained already for the lack of 5.5 -> 10 upgrade.<br>
>>> >> > <a href="https://phabricator.wikimedia.org/T138517#2796682" rel="noreferrer" target="_blank">https://phabricator.wikimedia.<wbr>org/T138517#2796682</a><br>
>>> >> > * On switch-back, again bad-programmed application may temporarily<br>
>>> >> > fail,<br>
>>> >> > but<br>
>>> >> > good ones should just switch transparently; unavailable dbs should be<br>
>>> >> > available again<br>
>>> >> ><br>
>>> >> > That should be enough background to schedule and send an email to<br>
>>> >> > users<br>
>>> >> > :-)<br>
>>> >> ><br>
>>> >> > ---------- Forwarded message ----------<br>
>>> >> > From: Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>><br>
>>> >> > Date: Mon, Jan 30, 2017 at 7:14 PM<br>
>>> >> > Subject: [Labs-admin] Report from ops meeting<br>
>>> >> > To: Labs admin list for infrastructure and discussion<br>
>>> >> > <<a href="mailto:labs-admin@lists.wikimedia.org">labs-admin@lists.wikimedia.<wbr>org</a>><br>
>>> >> ><br>
>>> >> ><br>
>>> >> > 1. Faidon talking about ip space discussions wrt asia dc discussion,<br>
>>> >> > and mentioned we might / should renumber labs IP space. Not sure<br>
>>> >> > about<br>
>>> >> > more details.<br>
>>> >> > 2. Ping on labsdb migration to Jessie<br>
>>> >> > 3. Mid-year review of annual goals coming up, need status about OGE<br>
>>> >> > migration<br>
>>> >> ><br>
>>> >> > That's it.<br>
>>> >> ><br>
>>> >> > --<br>
>>> >> > Yuvi Panda T<br>
>>> >> > <a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
>>> >> ><br>
>>> >> > ______________________________<wbr>_________________<br>
>>> >> > Labs-admin mailing list<br>
>>> >> > <a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
>>> >> > <a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
>>> >> ><br>
>>> >> ><br>
>>> >> ><br>
>>> >> > --<br>
>>> >> > Jaime Crespo<br>
>>> >> > <<a href="http://wikimedia.org" rel="noreferrer" target="_blank">http://wikimedia.org</a>><br>
>>> >> ><br>
>>> >> > ______________________________<wbr>_________________<br>
>>> >> > Labs-admin mailing list<br>
>>> >> > <a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
>>> >> > <a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
>>> >> ><br>
>>> >><br>
>>> >><br>
>>> >><br>
>>> >> --<br>
>>> >> Yuvi Panda T<br>
>>> >> <a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
>>> >><br>
>>> >> ______________________________<wbr>_________________<br>
>>> >> Labs-admin mailing list<br>
>>> >> <a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
>>> >> <a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
>>> ><br>
>>> ><br>
>>> ><br>
>>> ><br>
>>> > --<br>
>>> > Jaime Crespo<br>
>>> > <<a href="http://wikimedia.org" rel="noreferrer" target="_blank">http://wikimedia.org</a>><br>
>>><br>
>>><br>
>>><br>
>>> --<br>
>>> Yuvi Panda T<br>
>>> <a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
>><br>
>><br>
>><br>
>><br>
>> --<br>
>> Jaime Crespo<br>
>> <<a href="http://wikimedia.org" rel="noreferrer" target="_blank">http://wikimedia.org</a>><br>
><br>
><br>
><br>
> --<br>
> Yuvi Panda T<br>
> <a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
<br>
<br>
<br>
--<br>
Yuvi Panda T<br>
<a href="http://yuvi.in/blog" rel="noreferrer" target="_blank">http://yuvi.in/blog</a><br>
</div></div></blockquote></div><br></div></div>