<div dir="ltr"><div><div>Hi everyone,<br><br></div>After we've been successfully serving our sites from our backup data-center codfw (Dallas) for the past two days, we're now starting our switch back to eqiad (Ashburn) as planned[1].<br><br></div>We've already moved cache traffic back to eqiad, and within the next minutes, we'll disable editing by going read-only for approximately 30 minutes - hopefully a bit faster than 2 days ago.<br><div><br>[1] <a href="http://blog.wikimedia.org/2016/04/11/wikimedia-failover-test/">http://blog.wikimedia.org/2016/04/11/wikimedia-failover-test/</a><br><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 19, 2016 at 6:00 PM, Mark Bergsma <span dir="ltr"><<a href="mailto:mark@wikimedia.org" target="_blank">mark@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div>Hi all,<br><br></div>Today the data center switch-over commenced as planned, and has just fully completed successfully. We are now serving our sites from codfw (Dallas, Texas) for the next 2 days if all stays well.<br><br></div><div>We switched the wikis to read-only (editing disabled) at 14:02 UTC, and went back read-write at 14:48 UTC - a little longer than planned. While edits were possible then, unfortunately at that time Special:Recent Changes (and related change feeds) were not yet working due to an unexpected configuration problem with our Redis servers until 15:10 UTC, when we found and fixed the issue. The site has stayed up and available for readers throughout the entire migration.<br><br></div><div>Overall the procedure was a success with few problems along the way. However we've also carefully kept track of any issues and delays we encountered for evaluation to improve and speed up the procedure, and reducing impact to our users - some of which will already be implemented for our switch back on Thursday.<br><br></div><div>We're still expecting to find (possibly subtle) issues today, and would like everyone who notices anything to use the following channels to report them:<span class=""><br><br><div>1. File a Phabricator issue with project #codfw-rollout<br></div></span><div>2. Report issues on IRC: Freenode channel #wikimedia-tech (if urgent)<br></div><span class="">3. Send an e-mail to the Operations list: <a href="mailto:ops@lists.wikimedia.org" target="_blank">ops@lists.wikimedia.org</a><br></span></div><div><br></div>We're not done yet, but thanks to all who have helped so far. :-)<span class=""><font color="#888888"><br><br></font></span></div><span class=""><font color="#888888">Mark</font></span><br clear="all"></div></blockquote></div><br>-- <br><div class="gmail_signature">Mark Bergsma <<a href="mailto:mark@wikimedia.org" target="_blank">mark@wikimedia.org</a>><br>Lead Operations Architect<br>Director of Technical Operations<br>Wikimedia Foundation<br></div>
</div></div></div></div></div>