<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, May 22, 2014 at 9:08 AM, Juliusz Gonera <span dir="ltr"><<a href="mailto:jgonera@wikimedia.org" target="_blank">jgonera@wikimedia.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="">On 05/22/2014 02:57 PM, Jon Robson wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
When a browser test has been failing for a considerable time e.g. for<br>
the last 3 builds it will post a card to Trello. </blockquote></div></blockquote><div><br></div><div>Once a long long time ago(*) I wrote a test harness for Selenium tests from scratch.  My framework would check the result of each individual test, and upon the first failure of the test, would re-execute that test one time.  Only if the individual test failed twice in a row would the framework report an "official" failure and run the next test in the build.  I think I first heard about this because Google did it. </div>
<div><br></div><div>I think what Jon has here is a per-build check, not per-test.  If we keep going this way, it might be interesting to create a per-test check for pass/fail/retry/report workflow.  Our new "Automation Engineer" starts work May 27, this could be a good project for him.  </div>
<div><br></div><div>In the meantime, if Trello is the official place of record for browser test build results, we might want to run builds more often.  Going 1.5 days with no failure report because of checking in the wrong PageObject would not be good.  <a href="https://wmf.ci.cloudbees.com/job/MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-firefox/577/">https://wmf.ci.cloudbees.com/job/MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-firefox/577/</a></div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
No card will be<br>
posted on the 4th or 5th time the tests fail.<br>
</blockquote>
<br></div>
What about 6th and 7th and so on?<span class=""><font color="#888888"><br>
<br>
-- <br>
Juliusz</font></span><div class=""><div class="h5"></div></div></blockquote></div><br></div><div class="gmail_extra"><br></div><div class="gmail_extra">(*) when dinosaurs roamed the earth, before Jenkins, when CruiseControl was the standard CI, when Selenium only injected javascript into an iframe, when WebDriver was just an insane scheme in the fevered brain of Simon Stewart, about 2006...</div>
</div>