<div dir="ltr"><div><div><div><div>Final update:<br><br>Anomie's theory was spot on. 1.29.0-wmf.9 has been deployed to all wikis for ~7 hours and appears to be stable.<br><br></div>I've filed a follow-up task for the root cause. It will very likely bite us in the future if not properly addressed. Further discussion is on phabricator: <a href="https://phabricator.wikimedia.org/T156541">https://phabricator.wikimedia.org/T156541</a><br><br></div>Thanks to everyone who pitched in on this and especially to Anomie for getting to the bottom of it.<br><br></div>Have a great weekend everyone!<br><br></div><div>- Mukunda<br><br>---<br></div>Mukunda Modell<br>Wikimedia Release Engineering<br>
<br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 27, 2017 at 12:47 PM, Mukunda Modell <span dir="ltr"><<a href="mailto:mmodell@wikimedia.org" target="_blank">mmodell@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Status update:<br><br></div>Anomie has a solid theory about the cause of <a href="https://phabricator.wikimedia.org/T156364" target="_blank">https://phabricator.wikimedia.<wbr>org/T156364</a> and we are going ahead with deploying wmf.9 today ASAP.  Assuming everything goes as planned then this will be resolved shortly.<br></div><div class="gmail-HOEnZb"><div class="gmail-h5"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 27, 2017 at 11:02 AM, Mukunda Modell <span dir="ltr"><<a href="mailto:mmodell@wikimedia.org" target="_blank">mmodell@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Correction: It looks like I only reverted group2 to wmf.8<br><br></div><div>I'm not sure whether to go ahead and revert all wikis or leave it like it is for now.<br></div></div><div class="gmail-m_-9074175496542334673HOEnZb"><div class="gmail-m_-9074175496542334673h5"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 27, 2017 at 10:24 AM, Mukunda Modell <span dir="ltr"><<a href="mailto:mmodell@wikimedia.org" target="_blank">mmodell@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div><div>The deployment of MediaWiki 1.29.0-wmf.9 is currently blocked and all wikis have been reverted to wmf.8.  This latest revert is due to excessive warnings which appeared in logs immediately after deploying to group2. The warnings all read as follows:<br><span style="font-family:monospace,monospace"><br></span><div class="gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-phui-header-col2"><span style="font-family:monospace,monospace"><span class="gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-phui-header-header"><span class="gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-visual-only gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-phui-icon-view gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-phui-font-fa gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-fa-exclamation-circle gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-red gmail-m_-9074175496542334673m_852962716037385895m_-972099092440929486gmail-phui-header-icon"></span>Warning: Empty regular expression in /srv/mediawiki/php-1.29.0-wmf.<wbr>9/includes/parser/DateFormatte<wbr>r.php on line 200</span></span></div><br>This issue is tracked in <a href="https://phabricator.wikimedia.org/T156364" target="_blank">https://phabricator.wikimedia.<wbr>org/T156364</a> and currently blocks further deployments.<br></div><div><br></div>More background:<br><br>A similar flood of log spam occurred after deploying the branch to group1, however, the problem subsided after a while and did not reappear until Thursday's deployment.<br><br></div>There have been recent changes to DateFormatter.php, however, the changes do not appear to be the direct culprit. In fact, after rolling back the changes, a different message appears in the log, however, with less frequency than the line 200 error.<br><br></div>Several engineers have looked at this issue but so far we have not isolated the root cause. Additional eyes on this issue would be welcomed and further discussion should be directed to Phabricator. In the interest of keeping everyone in the loop, I will follow up in this thread if/when there is a resolution.<br><br></div><div>Regards,<br></div><div>Mukunda<br><br>---<br></div>Mukunda Modell<br></div>Wikimedia Release Engineering<br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div></div>