<div dir="ltr">Very cool. I linked to it from <a href="https://www.mediawiki.org/wiki/Quality_Assurance/Browser_testing/Running_tests">https://www.mediawiki.org/wiki/Quality_Assurance/Browser_testing/Running_tests</a><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jun 24, 2015 at 4:55 PM, Jon Robson <span dir="ltr"><<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Some of you may have noticed a bot [1] providing reviews for the<br>
Mobilefrontend and Gather extensions.<br>
<br>
This is a grass routes experiment [2] to see if we can reduce<br>
regressions by running browser tests against every single commit. It's<br>
very crude, and we're going to have to maintain it but we see this as<br>
a crude stop gap solution until we get gerrit-bot taking care of this<br>
for us.<br>
<br>
Obviously we want to do this for all extensions but we wanted to get<br>
something good enough that is not scaleable to start exploring this.<br>
<br>
So far it has caught various bugs for us and our browser test builds<br>
are starting to finally becoming consistently green, a few beta labs<br>
flakes aside [3].<br>
<br>
Running tests on beta labs is still useful but now we can use it to<br>
identify tests caused by other extensions. We were finding too often<br>
our tests were failing due to us neglecting them.<br>
<br>
In case others are interested in how this is working and want to set<br>
one up themselves I've documented this here:<br>
<a href="https://www.mediawiki.org/wiki/Reading/Setting_up_a_browser_test_bot" rel="noreferrer" target="_blank">https://www.mediawiki.org/wiki/Reading/Setting_up_a_browser_test_bot</a><br>
<br>
Please let me now if you have any questions and feel free to edit and<br>
improve this page. If you want to jump into the code that's doing this<br>
and know Python check out:<br>
<a href="https://github.com/jdlrobson/Barry-the-Browser-Test-Bot" rel="noreferrer" target="_blank">https://github.com/jdlrobson/Barry-the-Browser-Test-Bot</a><br>
(Patches welcomed and apologies in advance for the code)<br>
<br>
[1] <a href="https://gerrit.wikimedia.org/r/#/q/reviewer:jdlrobson%252Bbarry%2540gmail.com+status:open,n,z" rel="noreferrer" target="_blank">https://gerrit.wikimedia.org/r/#/q/reviewer:jdlrobson%252Bbarry%2540gmail.com+status:open,n,z</a><br>
[2] <a href="https://phabricator.wikimedia.org/T100293" rel="noreferrer" target="_blank">https://phabricator.wikimedia.org/T100293</a><br>
[3] <a href="https://integration.wikimedia.org/ci/view/Mobile/job/browsertests-MobileFrontend-SmokeTests-linux-chrome-sauce/" rel="noreferrer" target="_blank">https://integration.wikimedia.org/ci/view/Mobile/job/browsertests-MobileFrontend-SmokeTests-linux-chrome-sauce/</a><br>
<br>
_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">=S Page  WMF Tech writer<span></span></div></div></div></div></div></div>
</div>