<div dir="auto"></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Apr 20, 2018, 5:01 AM  <<a href="mailto:qa-request@lists.wikimedia.org">qa-request@lists.wikimedia.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Send QA mailing list submissions to<br>
        <a href="mailto:qa@lists.wikimedia.org" target="_blank" rel="noreferrer">qa@lists.wikimedia.org</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="https://lists.wikimedia.org/mailman/listinfo/qa" rel="noreferrer noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
or, via email, send a message with subject or body 'help' to<br>
        <a href="mailto:qa-request@lists.wikimedia.org" target="_blank" rel="noreferrer">qa-request@lists.wikimedia.org</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:qa-owner@lists.wikimedia.org" target="_blank" rel="noreferrer">qa-owner@lists.wikimedia.org</a><br>
<br>
When replying, please edit your Subject line so it is more specific<br>
than "Re: Contents of QA digest..."<br>
<br>
<br>
Today's Topics:<br>
<br>
   1. Re: Helper to run MediaWiki tests (Antoine Musso)<br>
<br>
<br>
----------------------------------------------------------------------<br>
<br>
Message: 1<br>
Date: Thu, 19 Apr 2018 23:28:59 +0200<br>
From: Antoine Musso <<a href="mailto:hashar%2Bwmf@free.fr" target="_blank" rel="noreferrer">hashar+wmf@free.fr</a>><br>
To: <a href="mailto:qa@lists.wikimedia.org" target="_blank" rel="noreferrer">qa@lists.wikimedia.org</a><br>
Subject: Re: [QA] Helper to run MediaWiki tests<br>
Message-ID: <pbb1io$kdr$<a href="mailto:1@blaine.gmane.org" target="_blank" rel="noreferrer">1@blaine.gmane.org</a>><br>
Content-Type: text/plain; charset=utf-8<br>
<br>
On 13/04/2018 10:48, Kunal Mehta wrote:<br>
> I LOVE IT<br>
> <br>
> But really, I was failing to reproduce a test failure[1] locally and I<br>
> gave quibble a try and it failed! After a bit of playing around I was<br>
> able to do a full git bisect, pinpointing the problem.<br>
> <br>
> My main feature request would be to be able to run each "stage"<br>
> independently, e.g. --stage=qunit or --stage=phpunit or<br>
> --stage=composer-test, etc. I'd think we'd need that anyways to keep our<br>
> current parallelization of jobs.<br>
> <br>
> [1] <a href="https://phabricator.wikimedia.org/T191863" rel="noreferrer noreferrer" target="_blank">https://phabricator.wikimedia.org/T191863</a><br>
<br>
Thank you Kunal for your reply last week, that has encouraged me all<br>
week long (as well as Timo praised).<br>
<br>
Quibble 0.0.8 has your patch to select which test command to run using<br>
--run. That is definitely an improvement when testing locally, I had<br>
just commented out blocks here and there in cmd.py :-/<br>
<br>
<br>
We run tests against several environments varying based on the php<br>
flavor, database or vendor vs composer.   I thought about having a<br>
reference environment for a given branch, and when varying when of the<br>
input (eg: database = sqlite), only run commands it affects.<br>
<br>
I did a very basic pass <a href="https://gerrit.wikimedia.org/r/#/c/427099/" rel="noreferrer noreferrer" target="_blank">https://gerrit.wikimedia.org/r/#/c/427099/</a> which<br>
more or less let us handle the variations and skip unwanted commands. It<br>
is not any ready though and I am not sure where I am going on that front.<br>
<br>
Side note: I have added quibble to mediawiki/core yesterday/today. Going<br>
to announce it to wikitech-l right now.<br>
<br>
<br>
-- <br>
Antoine "hashar" Musso<br>
<br>
<br>
<br>
<br>
------------------------------<br>
<br>
Subject: Digest Footer<br>
<br>
_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org" target="_blank" rel="noreferrer">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" rel="noreferrer noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
<br>
<br>
------------------------------<br>
<br>
End of QA Digest, Vol 59, Issue 3<br>
*********************************<br>
</blockquote></div>