<div dir="ltr">On Wed, Nov 26, 2014 at 10:58 PM, Krinkle <span dir="ltr"><<a href="mailto:krinklemail@gmail.com" target="_blank">krinklemail@gmail.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word"><div>Seems to be at least 62 days behind on commonswiki</div><div><br></div><div>tin.eqiad.wmnet$ sql commonswiki</div><div>rc_id: 142360816</div><div>rc_timestamp: 2014-11-26 12:55:31</div><div><div><br></div><div>tools-login$ sql commonswiki</div></div><div>rc_id: 136903866</div><div>rc_timestamp: 2014-09-24 12:51:42</div><div><br></div><div>See also <a href="https://tools.wmflabs.org/unpatrollededitstats/commonswiki/" target="_blank">https://tools.wmflabs.org/unpatrollededitstats/commonswiki/</a><br></div></div></blockquote><div><br></div><div>As mentioned in this thread and elsewhere, the labs replicas are being resynced and an upgraded package with a replication bug fix prepared (upstream release occurred Tuesday). Presently s1 and s2 are done, s4 and s5 are in progress, and s3 s6 s7 will follow up.<br><br></div><div>However, the above example demonstrates a recent client-side configuration change that I was not aware of: "sql commonswiki" is apparently hitting labsdb1003 where it used to hit labsdb1002 (the canonical s4.labsdb replica since forever). For a number of reasons this change breaks some assumptions made in the resync and is now exposing an old commonswiki snapshot.<br><br>Eg, on labsdb1002:<br><br>labsdb1002 commonswiki> select max(rc_timestamp) from recentchanges;<br><br>| 20141127004237    |<br><br></div><div>Coren is helping to chase this down right now.<br></div></div></div></div>