<div dir="ltr"><div><div><div>Investigation and likely explanation on <a href="https://phabricator.wikimedia.org/T134553">https://phabricator.wikimedia.org/T134553</a><br><br></div>tl;dr: the source of the spike seems to be in the instrumentation and the newer higher values should be closer to reality.<br><br></div>It is safe to roll out 1.27-wmf.23 ASAP. Releng, please let me know when that will be, so that I can keep an eye on things to confirm my findings.<br><br></div>Sorry about the inconvenience!<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, May 6, 2016 at 5:14 PM, Benoît Evellin (Trizek) <span dir="ltr"><<a href="mailto:bevellin@wikimedia.org" target="_blank">bevellin@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I'm currently writing the next Tech News issue. Is that bug will delay the next MediaWiki deployment?</div><div><br></div><div>Thanks,</div><div>Benoît</div><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Fri, May 6, 2016 at 8:43 AM, Ori Livneh <span dir="ltr"><<a href="mailto:ori@wikimedia.org" target="_blank">ori@wikimedia.org</a>></span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><span class="">The roll-out of 1.27.0-wmf.23 to all Wikipedias coincided with a significant (~100-150ms) increase in first paint time for Wikimedia page views. First paint time is the time it takes the user to see anything on the screen after clicking on a link. Keeping it low is crucial to good user experience, and this is a severe regression, so I rolled back wmf.23, in coordination with Chad and Tyler from Release Engineering.</span><div><span class=""><br><div>In the graph below, the green line shows median first paint time in milliseconds over the course of the past 24 hours. The blue line shows what the value was that time the day before. You can see they diverge shortly after 19:00 UTC and converge around 4:20 UTC.</div><div><br></div></span><div><removed><br>​<br></div><span class=""><div>I have not investigated any further than that yet, but the train is blocked on isolating and fixing this regression (or disproving it, if it is a bug in the instrumentation). This is tracked in Phabricator as <a href="https://phabricator.wikimedia.org/T134553" target="_blank">https://phabricator.wikimedia.org/T134553</a>. You are encouraged to help out. :)<span><font color="#888888"><br></font></span></div><span><font color="#888888"><div><br></div><div>Ori</div></font></span></span></div></div>
<br>_______________________________________________<br>
Engineering mailing list<br>
<a href="mailto:Engineering@lists.wikimedia.org" target="_blank">Engineering@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/engineering" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/engineering</a><br>
<br></blockquote></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr"><div><div dir="ltr"><div><font size="2">Benoît Evellin (Trizek)</font></div><div><font size="2">Community Liaison</font></div><div><font size="2">Wikimedia Foundation</font></div></div></div></div></div>
</font></span></div></div>
<br>_______________________________________________<br>
Engineering mailing list<br>
<a href="mailto:Engineering@lists.wikimedia.org">Engineering@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/engineering" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/engineering</a><br>
<br></blockquote></div><br></div>