<div dir="ltr">I like this idea for development and manual testing, but I'm not sure it's appropriate for automated testing.<div><br></div><div>Generally in automated testing, each test case (unit test or integration scenario) should be able to set up or guarantee its preconditions whenever possible—and otherwise communicate its assumptions—which in the context of MediaWiki includes user accounts, user settings, or article content that the test case will manipulate or otherwise depend on. Putting this initial content in MW-Vagrant, which is orthogonal to MW test suites, creates the need for more coupling between test code and test environments and promotes more non-deterministic test behavior, something we've been trying very hard to reduce.[1][2]</div><div><br></div><div>Also, for development content, we might want to figure out a better place for it than in the MW-Vagrant repo itself. Article dumps are likely to build up fast, and we risk bloating the project repo itself with big blobs.</div><div><br></div><div>[1] <a href="https://www.mediawiki.org/wiki/Quality_Assurance/Browser_testing/Environment_abstraction_layer">https://www.mediawiki.org/wiki/Quality_Assurance/Browser_testing/Environment_abstraction_layer</a></div><div>[2] <a href="https://doc.wikimedia.org/rubygems/mediawiki-selenium/index.html#User_Factory">https://doc.wikimedia.org/rubygems/mediawiki-selenium/index.html#User_Factory</a></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jul 21, 2015 at 10:25 AM, Jon Robson <span dir="ltr"><<a href="mailto:jdlrobson@gmail.com" target="_blank">jdlrobson@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span class=""><p dir="ltr">On 20 Jul 2015 5:56 pm, "Greg Grossmeier" <<a href="mailto:greg@wikimedia.org" target="_blank">greg@wikimedia.org</a>> wrote:<br></p></span><div class="gmail_quote"><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Given the topic, let's keep the QA list in the loop on this so the<br>
MW-Vagrant maintainers can participate/see.<br></blockquote></span><div>Great :) </div><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
Also, it looks like the original bug (reported in the MW-Vagrant<br>
project) covers this specific request from Reading, no? Essentially, </blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
let's see how far we can get with a general "MW-Vagrant (WMF?) testing<br>
data import" instead of a vertical specific "reading-web test data set".<br>
If what the Reading team needs is way too much for this then we can<br>
break it out, otherwise it seems like a needless distinction.<br></blockquote><div><br></div><br></span><div>It does yup. I've already tagged the bug with it. I'm hoping by tackling this we can come up with a common solution. The way I imagine this working in future is we have various vagrant roles for stock data e.g. reading-web-stock-data, editing-web-stock-data, sad-web-stock-data</div><div>There would also be non team specific stock data that might be a sub role of this, for example, the reading web team commonly has to setup the wikidata role and manually create articles in the wikidata instance and local instance that are tied to each other - this takes a ridiculous amount of time and is one I'm keen to automate, given that we are leaning more heavily on wikidata descriptions and other data in there.</div><div> </div><div>Rob - I've setup <a href="https://www.mediawiki.org/wiki/Reading/QA/Sample_articles" target="_blank">https://www.mediawiki.org/wiki/Reading/QA/Sample_articles</a> as a place we can start to collect and think about these pages.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
Greg<br>
<br>
PS: <a href="https://wikitech.wikimedia.org/wiki/Labs_labs_labs" rel="noreferrer" target="_blank">https://wikitech.wikimedia.org/wiki/Labs_labs_labs</a><span class=""><br>
<br>
<quote name="Rob Moen" date="2015-07-20" time="17:11:07 -0700"><br>
> Historically developers have had to setup their own content in mediawiki<br>
> and in mediawiki-vagrant.  While this can be done with a simple import,<br>
> getting everyone on the same page is apparently not as easy.  This is<br>
> generally problematic as we would like to test code locally and remotely<br>
> with the same content for various reasons.<br>
><br>
> Slightly more frustrating, there are pages titled "0.4425590476103759" on<br>
> beta labs.  While trying to sign off on a feature, there is usually a<br>
> struggle when trying to find an article with suitable content.  AFAIK this<br>
> won't change beta labs but would provide a nice standard for our content on<br>
> test wikis.<br>
><br>
> We aim to better things by creating a vagrant role for importing a set of<br>
> articles for testing purposes.  For more information please see related<br>
> phabricator tasks [1] and [2].<br>
><br>
> In hopes of making this a nice collection of articles that multiple teams<br>
> would use, we would like to get input from our designers and devs on what<br>
> types of articles should be in this import.  What qualities should these<br>
> articles contain?<br>
><br></span>
> 1: <a href="https://phabricator.wikimedia.org/T104561" rel="noreferrer" target="_blank">https://phabricator.wikimedia.org/T104561</a><br>
> 2: <a href="https://phabricator.wikimedia.org/T62116" rel="noreferrer" target="_blank">https://phabricator.wikimedia.org/T62116</a><span class=""><br>
><br>
><br>
><br>
> --<br>
> Rob Moen<br>
> Wikimedia Foundation<br></span>
> <a href="mailto:rmoen@wikimedia.org" target="_blank">rmoen@wikimedia.org</a><br>
<br>
> _______________________________________________<br>
> Mobile-l mailing list<br>
> <a href="mailto:Mobile-l@lists.wikimedia.org" target="_blank">Mobile-l@lists.wikimedia.org</a><br>
> <a href="https://lists.wikimedia.org/mailman/listinfo/mobile-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/mobile-l</a><span class=""><br>
<br>
<br>
--<br>
| Greg Grossmeier            GPG: B2FA 27B1 F7EB D327 6B8E |<br></span>
| <a href="http://identi.ca" rel="noreferrer" target="_blank">identi.ca</a>: @greg                A18D 1138 8E47 FAC8 1C7D |<br>
<br>
_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
</blockquote></div>
</div>
<br>_______________________________________________<br>
Mobile-l mailing list<br>
<a href="mailto:Mobile-l@lists.wikimedia.org">Mobile-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/mobile-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/mobile-l</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Dan Duvall<div>Automation Engineer</div><div><a href="http://wikimediafoundation.org" target="_blank">Wikimedia Foundation</a><br></div></div></div>
</div>