<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Dec 5, 2014 at 2:23 AM, Joaquin Oltra Hernandez <span dir="ltr"><<a href="mailto:jhernandez@wikimedia.org" target="_blank">jhernandez@wikimedia.org</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><div>Here you can see vagrant roles, final output of the tests and env variables <a href="https://gist.github.com/joakin/eae3b086dd5a0c498669" target="_blank">https://gist.github.com/joakin/eae3b086dd5a0c498669</a><br><br></div>I'm running the tests with phantomjs by default for convenience and speed, but I've tried Firefox and I've gotten similar results.<br><br></div>Anything I've missed that I should do? I'd really love to get them green to rely on them more often and avoid regressions.</div></blockquote><div><br></div><div>Sure, I see a few issues right off, even without looking at how these failed.</div><div><br></div><div>* Uploads has been disabled in the MobileFrontend for a long time. That feature may or may not be re-enabled in the future. That test is simply not valid, but I have kept it in the repo at the request of the Mobile team.  You can see in the tags in special_upload.feature and uploads_copyvio.feature that those tests have no target environments and do not run in the build. </div><div><br></div><div>For the rest, these tests have been designed to work primarily in beta labs.  If you set your env vars to </div><div><br></div><div>export MEDIAWIKI_URL=<a href="http://en.m.wikipedia.beta.wmflabs.org/wiki/">http://en.m.wikipedia.beta.wmflabs.org/wiki/</a><br></div><div><p class="">export MEDIAWIKI_API_URL=<a href="http://en.wikipedia.beta.wmflabs.org/w/api.php">http://en.wikipedia.beta.wmflabs.org/w/api.php</a></p>
<p class="">export MEDIAWIKI_USER=Selenium_user</p>
<p class="">export MEDIAWIKI_PASSWORD=(password)</p>
<p class="">export BROWSER=firefox</p></div><div>or equivalent, I bet the suite would pass (except for the uploads tests). <br></div><div><br></div><div>* Do you have the API URL set correctly? That would be a source of failure.</div><div>* Do you have VisualEditor in place? If not, the VE tests will fail.</div><div>* The language tests rely on having the page available in another language wiki, and the db records to show it.<br></div><div>* Do you have Nearby enabled?  Search? etc? </div><div><br></div><div>Each test failure will display a detailed message describing what condition the test expected and what condition violated that expectation.  I think if you look at the detailed failure message it will tell you exactly why the test failed in your environment. </div><div><br></div><div>-Chris </div><div><br></div><div><br></div><div><br></div></div></div></div>