<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Aug 22, 2014 at 12:19 PM, Antoine Musso <span dir="ltr"><<a href="mailto:hashar+wmf@free.fr" target="_blank">hashar+wmf@free.fr</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br>
<br>
The browser tests running on Jenkins are often failing due to some<br>
mysterious errors (timeout, network access, machine overloaded, race<br>
condition or whatever).<br></blockquote><div><br></div><div>It's not all that mysterious:  most of these failures are because the Sauce VM does not see any instruction in a 90-second window.  And we see the 90-second timeouts mostly when we are running 10 simultaneous Selenium tests at busy times (e.g. during the US work day) less often at slow times (overnight US time) and rarely when running single test suites at times when Jenkins is not busy.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Earlier today I have deployed a change that restrict one build per<br>
Jenkins slave.  That might help at the expense of slowing down the time<br>
it takes for all jobs to complete.<br>
<br>
We will see.</blockquote><div> </div><div>With Cloudbees we had a limit of two Jenkins executors at one time.  We should be able to run ten Selenium tests(*) at once with WMF Jenkins.  While throttling might help diagnosis of performance problems, ultimately we to support Jenkins (and beta labs) with enough CPU/disk/memory to do what we need done, that is, to not wait 90 seconds for instructions to complete. </div>
<div><br></div><div>-Chris </div><div>(*) SauceLabs gives us a maximum of 10 VMs regardless of the number of Jenkins builds in progress. In practice I see that sometimes we have all ten in use, but on average we'll see about 8 tests running at once, +- 2 or so.</div>
</div></div></div>