<div dir="ltr">The roll-out of 1.27.0-wmf.23 to all Wikipedias coincided with a significant (~100-150ms) increase in first paint time for Wikimedia page views. First paint time is the time it takes the user to see anything on the screen after clicking on a link. Keeping it low is crucial to good user experience, and this is a severe regression, so I rolled back wmf.23, in coordination with Chad and Tyler from Release Engineering.<div><br><div>In the graph below, the green line shows median first paint time in milliseconds over the course of the past 24 hours. The blue line shows what the value was that time the day before. You can see they diverge shortly after 19:00 UTC and converge around 4:20 UTC.</div><div><br></div><div><img src="cid:ii_invc3q980_15484bafe94f5df5" width="422" height="158"><br>​<br></div><div>I have not investigated any further than that yet, but the train is blocked on isolating and fixing this regression (or disproving it, if it is a bug in the instrumentation). This is tracked in Phabricator as <a href="https://phabricator.wikimedia.org/T134553">https://phabricator.wikimedia.org/T134553</a>. You are encouraged to help out. :)<br></div><div><br></div><div>Ori</div></div></div>