<div dir="ltr"><div><div>My theory seems to have been confirmed by the backport of the NavigationTiming change to wmf.22, 2 hours before wmf.23 was redeployed. The backport caused the same kind of 100ms-ish spike on coal.firstPaint as the one we saw during the initial wmf.23 deployment.<br><br></div>Independently of that, the wmf.23 redeploy didn't seem to cause any additional (apparent or real) firstPaint regression.<br><br></div><div>Going forward, the new coal.firstPaint figure is more accurate, as it doesn't include junk negative values anymore (which we believe came from user agents that don't comply to the NavigationTiming standard properly).<br><br></div><div>Someone from releng might correct me if this is no longer true, but given that wmf.23 was redeployed yesterday, we should be back on track for the regular deploy train schedule this week.<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 9, 2016 at 7:04 PM, Antoine Musso <span dir="ltr"><<a href="mailto:amusso@wikimedia.org" target="_blank">amusso@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Le 09/05/2016 15:17, Gilles Dubuc a écrit :<br>
> Investigation and likely explanation on<br>
> <a href="https://phabricator.wikimedia.org/T134553" rel="noreferrer" target="_blank">https://phabricator.wikimedia.org/T134553</a><br>
><br>
> tl;dr: the source of the spike seems to be in the instrumentation and<br>
> the newer higher values should be closer to reality.<br>
><br>
> It is safe to roll out 1.27-wmf.23 ASAP. Releng, please let me know when<br>
> that will be, so that I can keep an eye on things to confirm my findings.<br>
><br>
> Sorry about the inconvenience!<br>
<br>
</span>It is better safe than sorry :-}<br>
<br>
I am very happy we detect performance regression and end up rollbacking<br>
a deployment because of that.  That is an indication we have largely<br>
improved over the last few years.<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
<br>
--<br>
Antoine "hashar" Musso<br>
</font></span></blockquote></div><br></div>