<div dir="ltr"><div>James and I are having an interesting discussion at Gerrit[0], but I think it is not the right place for the discussion, so I am moving it here.<br><br></div><div>Story #1<br></div><div><br>During Wikimania, Vikas and I worked on a new feature for VisualEditor browser screenshots. The feature broke all VisualEditor browser tests, but we did not notice.<br><br></div><div>The problem is that nobody noticed. Or at least, nobody complained. Our browser tests[1] are usually so broken, that nobody noticed when they got even more broken.<br><br></div><div>Story #2<br></div><div><br></div><div>Looks like all browser tests for all browsers except Firefox and Chrome are broken since mediawiki_selenium 1.0. (We are at 1.6 now.) Again, nobody noticed. Or at least, nobody complained. Until I have noticed it[2].<br><br></div><div>Epilogue<br></div><div><br></div><div>To fix the problem, I have started cleaning up jobs that are broken for the last month[3]. Why? I think it is better if a repository has only one (1!) browser test that is consistently green than more tests that are failing all the time.<br><br></div><div>Why? When that one tests breaks, it signals a problem. When all the tests are broken all the time, there is no signal. Only noise.<br></div><div><br></div>Željko<br>--<br>0: <a href="https://gerrit.wikimedia.org/r/#/c/247612/">https://gerrit.wikimedia.org/r/#/c/247612/</a><br>1: <a href="https://integration.wikimedia.org/ci/view/BrowserTests/view/-All/">https://integration.wikimedia.org/ci/view/BrowserTests/view/-All/</a><br>2: <a href="https://phabricator.wikimedia.org/T114362">https://phabricator.wikimedia.org/T114362</a><br>3: <a href="https://phabricator.wikimedia.org/T94150">https://phabricator.wikimedia.org/T94150</a><br><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 2, 2015 at 4:22 PM, Jforrester (Code Review) <span dir="ltr"><<a href="mailto:gerrit@wikimedia.org" target="_blank">gerrit@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Jforrester has posted comments on this change.<br>
<span class=""><br>
Change subject: Revert "Delete failing VisualEditor browsertests Jenkins jobs"<br>
......................................................................<br>
<br>
<br>
</span>Patch Set 2:<br>
<br>
> I disagree that VisualEditor browser tests were fine before we deleted the jobs.<br>
<br>
No, but they were fine (some working, some not, in the slow process of being fixed despite being foisted upon the team) before you broke them.<br>
<br>
> I have asked on several places (qa mailing list, phabricator, gerrit) before deleting the jobs and got no reply, so I have assumed nobody cared.<br>
<br>
None of these are appropriate venues for synchronous or semi-synchronous communication. IRC exists. E-mail exists. Silence is not consent.<br>
<br>
> Reverting this change would show that all Internet Explorer and Safari jobs are broken because of T114362.<br>
<br>
OK, so… why is that task not, for instance, a high-priority tell-all-engineers task? Why is it that the first I hear that the CI infrastructure is totally broken for the most important targets a comment in this commit? We already trivially test everything in Chrome/Firefox as part of normal development; the main value of browser tests are IE, Safari and particularly iOS Safari…<br>
<br>
> As a first step in recreating the jobs, I will recreate one Firefox job and see what needs to be done to make it green.<br>
<br>
Thank you.<br>
<span class=""><br>
--<br>
To view, visit <a href="https://gerrit.wikimedia.org/r/247612" rel="noreferrer" target="_blank">https://gerrit.wikimedia.org/r/247612</a><br>
To unsubscribe, visit <a href="https://gerrit.wikimedia.org/r/settings" rel="noreferrer" target="_blank">https://gerrit.wikimedia.org/r/settings</a><br>
<br>
</span><span class="">Gerrit-MessageType: comment<br>
Gerrit-Change-Id: Ia68624f3672f634012749fb893577a5a0e626bb8<br>
Gerrit-PatchSet: 2<br>
</span><span class="">Gerrit-Project: integration/config<br>
Gerrit-Branch: master<br>
Gerrit-Owner: Jforrester <<a href="mailto:jforrester@wikimedia.org">jforrester@wikimedia.org</a>><br>
</span><span class="">Gerrit-Reviewer: Amire80 <<a href="mailto:amir.aharoni@mail.huji.ac.il">amir.aharoni@mail.huji.ac.il</a>><br>
Gerrit-Reviewer: Dduvall <<a href="mailto:dduvall@wikimedia.org">dduvall@wikimedia.org</a>><br>
</span>Gerrit-Reviewer: Jforrester <<a href="mailto:jforrester@wikimedia.org">jforrester@wikimedia.org</a>><br>
<span class="">Gerrit-Reviewer: Vikassy <<a href="mailto:vikasyaligar.it@gmail.com">vikasyaligar.it@gmail.com</a>><br>
Gerrit-Reviewer: Vikasyaligar <<a href="mailto:vikasyaligar@gmail.com">vikasyaligar@gmail.com</a>><br>
</span><span class="">Gerrit-Reviewer: Zfilipin <<a href="mailto:zfilipin@wikimedia.org">zfilipin@wikimedia.org</a>><br>
Gerrit-Reviewer: jenkins-bot <><br>
</span>Gerrit-HasComments: No<br>
</blockquote></div><br></div></div></div></div>