<div dir="ltr">Update:<div>Dan Duval and I sat down and wrote this task to help the generic case for these problems in future - <a href="https://phabricator.wikimedia.org/T101062" target="_blank">https://phabricator.wikimedia.org/T101062</a><div><br></div><div>The good news:</div><div>The caching issue has gone and Gather has gone green (yay!)</div><div><a href="https://integration.wikimedia.org/ci/view/Mobile/job/browsertests-Gather-en.m.wikipedia.beta.wmflabs.org-linux-chrome-sauce/">https://integration.wikimedia.org/ci/view/Mobile/job/browsertests-Gather-en.m.wikipedia.beta.wmflabs.org-linux-chrome-sauce/</a><br></div><div><br></div><div>MobileFrontend cache problem has also gone away in the smoke tests but actually has surfaced a bug. The next build should go green thanks to <a href="https://gerrit.wikimedia.org/r/215257">https://gerrit.wikimedia.org/r/215257</a> so watch this space.</div><div><br></div><div>Bad news:</div><div>the mega builds are still failing (so 2 e-mails should be coming in rather than 4). Dan Duval and I are going to pair on this tomorrow and fix those up: <a href="https://phabricator.wikimedia.org/T101071">https://phabricator.wikimedia.org/T101071</a></div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jun 1, 2015 at 10:11 AM, Jon Robson <span dir="ltr"><<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="im HOEnZb"><div dir="ltr"><p dir="ltr" style="font-size:12.8000001907349px">Who would be suitable to debug these with and/or examine the caching on beta labs? Whilst they fail like this they are useless to us (I've already had a request to turn off the e-mail notifications).</p><p dir="ltr" style="font-size:12.8000001907349px">It seems Bryan had an idea on the related bug <a href="https://phabricator.wikimedia.org/T99096" target="_blank">https://phabricator.wikimedia.org/T99096</a></p><p dir="ltr" style="font-size:12.8000001907349px">I am free today (and in the office) if anyone wants to pair and get this fixed...</p></div></span><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 28, 2015 at 9:53 AM, Greg Grossmeier <span dir="ltr"><<a href="mailto:greg@wikimedia.org" target="_blank">greg@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">(let's use mailing lists instead of manually cc'ing people, please)<br>
<br>
Timo/Jon: Do you have tasks in phabricator that show what you've tried<br>
doing/debugging already? Would hate to re-do it all.<br>
<br>
Greg<br>
<br>
<br>
<quote name="Timo Tijhof" date="2015-05-28" time="11:57:05 +0200"><br>
<div><div>> I've seen this and similar issues on beta cluster for almost a year now and am reasonably certain that there is no bug in ResourceLoader related to this. We might uncover an indirect cause in MediaWiki core later, but the immediate cause is most likely in Beta cluster. This because I've observed the relevant issues with non-ResourceLoader requests as well. And because we've not been able to reproduce this in production.<br>
><br>
> I don't know enough about Beta cluster or our http caching to know how to help. I've already exhausted possibly causes I can think of on my own – last month. However I'm happy to join a hangout session at some point to consult and help pinpoint the problem from a MediaWiki perspective, we should have a prod opsen (knowledgable about Varnish), and a beta devop present there as well.<br>
><br>
> -- Timo<br>
><br>
> > On 28 May 2015, at 11:37, Jon Robson <<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>> wrote:<br>
> ><br>
> > Firstly apologises for all the browser test spam recently. This is an update on what is going on and to give you confidence it is being taken seriously.<br>
> ><br>
> > I've managed to trace the issue to some kind of caching problem in mediawiki core but I'm a bit out of my depth trying to work it out.<br>
> ><br>
> > Basically under certain circumstances our code is broken and this is why the tests are failing.<br>
> ><br>
> > The issue is that we are serving old JavaScript along with new JavaScript and these files are naturally incompatible causing the errors as they are trying to access old frontend APIs that no longer exist.<br>
> ><br>
> > How ResourceLoader deals with caching changed last month and I suspect there is a bug in that code. I suspect Timo would be able to help me chase down the route cause further.<br>
> ><br>
> > In the meantime I'm not sure if there is a way to stop the email spam till this gets resolved. One idea I had was that when a test build fails it would be great if the email alerts stopped and developers become responsible for restarting them. Greg/Antoine/Dan is this possible? There's little benefit in continuing to run them every day and emailing about faikures until this test is fixed.<br>
> ><br>
> > Any help on <a href="https://phabricator.wikimedia.org/T100542" target="_blank">https://phabricator.wikimedia.org/T100542</a> much appreciated. I'm out of my depth as this issue seems to fall outside the good ship readership and more in the ResourceLoader and quality assurance sea.<br>
<br>
</div></div><span><font color="#888888">--<br>
| Greg Grossmeier            GPG: B2FA 27B1 F7EB D327 6B8E |<br>
| <a href="http://identi.ca" target="_blank">identi.ca</a>: @greg                A18D 1138 8E47 FAC8 1C7D |<br>
<br>
_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
</font></span></blockquote></div><br></div>
</div></div></blockquote></div><br></div>