<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Jul 11, 2014 at 10:12 AM, Željko Filipin <span dir="ltr"><<a href="mailto:zfilipin@wikimedia.org" target="_blank">zfilipin@wikimedia.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div class="">On Thu, Jul 10, 2014 at 12:57 AM, Juliusz Gonera <span dir="ltr"><<a href="mailto:jgonera@wikimedia.org" target="_blank">jgonera@wikimedia.org</a>></span> wrote:<br>


</div><div class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><a href="https://integration.wikimedia.org/ci/view/BrowserTests/job/browsertests-MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-chrome-sauce/lastBuild/testReport/junit/%28root%29/Wikitext%20Editor%20%28TEST%20RUN%20ON%20WIKIPEDIA%20SO%20SHOULD%20NOT%20CAUSE%20SAVES%29/Opening_editor/" target="_blank">https://integration.wikimedia.org/ci/view/BrowserTests/job/browsertests-MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-chrome-sauce/lastBuild/testReport/junit/%28root%29/Wikitext%20Editor%20%28TEST%20RUN%20ON%20WIKIPEDIA%20SO%20SHOULD%20NOT%20CAUSE%20SAVES%29/Opening_editor/</a><br>



</div>Editor doesn't seem to load, possible causes: beta labs API error, or problem with connection between saucelabs and beta labs</blockquote></div></div><br>My guess is that you are talking about this failure[1]. Looking at the Sauce Labs screencast, it looks to me that labs was just slow to respond and the test failed after 5 seconds with pretty descriptive error message[2]. It is hard for me to say why labs is slow. As Antoine has suggested, looking at logs for that date/time could help.</div>


<div class="gmail_extra"><br></div><div class="gmail_extra">If that happens a lot, a short workaround would be to make the test wait for 10 seconds instead of 5.<br></div></div></blockquote><div><br></div><div><br></div>
<div>Thanks for the response, Zeljko.  I'm going to make the dumb manager response and ask the question (not just to Zeljko, but to everyone): as a permanent fix, can we change the wait to 60 seconds and call it good?  How was 5 seconds arrived at as the time for an automated test to fail?  Labs was never intended for performance testing, and it's not suited for it, so if the rationale is because we're testing end-user performance, we should stop.  SauceLabs also isn't designed for it, so any effort to use it will also end in sadness.  60 seconds may be a bit extreme, but really, let's set a number here (and everywhere we have timeouts) that's high enough to stop getting false positives, and leave it there.  In cases where we want to automate a responsiveness test, let's make sure we're doing it against test2 or some production cluster machine, and that we're doing it from a client that isn't also likely to introduce random delays.</div>
<div><br></div><div>Rob</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra">1: <a href="https://integration.wikimedia.org/ci/view/BrowserTests/job/browsertests-MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-chrome-sauce/55/testReport/junit/(root)/Wikitext%20Editor%20(TEST%20RUN%20ON%20WIKIPEDIA%20SO%20SHOULD%20NOT%20CAUSE%20SAVES)/Opening_editor/" target="_blank">https://integration.wikimedia.org/ci/view/BrowserTests/job/browsertests-MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-chrome-sauce/55/testReport/junit/(root)/Wikitext%20Editor%20(TEST%20RUN%20ON%20WIKIPEDIA%20SO%20SHOULD%20NOT%20CAUSE%20SAVES)/Opening_editor/</a><br>


</div><div class="gmail_extra">2: timed out after 5 seconds, waiting for {:css=>".wikitext-editor", :tag_name=>"textarea"} to become present (Watir::Wait::TimeoutError)</div></div>
</blockquote></div><br></div><div class="gmail_extra"><br></div></div>