<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Jan 21, 2014 at 12:21 PM, Chris McMahon <span dir="ltr"><<a href="mailto:cmcmahon@wikimedia.org" target="_blank">cmcmahon@wikimedia.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div>Hello QAers, </div><div><br></div><div><div>I installed a new 1.22 Mediawiki locally and ran the browsertests repository against it. Only one test passed, create_account.feature. </div>
<div><br></div>
<div>After a little investigation, I want to start a discussion about the value of tests for a clean wiki, and how they should be managed.  </div><div><br></div><div>A bare Mediawiki wiki is very different than a Wikipedia wiki, not only in the lack of important features, but even for example the default editor controls the user sees are the primitive ones Wikipedia users see only when using IE6.  </div>

<div><br></div><div>Some options for bare-wiki browser tests: </div><div><br></div><div>Raw installs:</div><div>* To run as a smoke test in WMF Jenkins using PhantomJS or headless Firefox.  We can make a proof of concept for this using the create_account.feature test. Beyond that would take significant thought and design.</div>

<div>* To run as a regression test for public releases of Mediawiki, outside of Wikipedia and the work of the Wikimedia Foundation.  These would have to be in a repo of their own, because they will share almost no code with tests pointed to Wikipedia environments.  Given the difference between a new Mediawiki install and a Wikipedia wiki, would this be better done by volunteers, with support from QA helpers?</div>

<div><br></div><div>Development environments:</div><div>* What may be more valuable would be bare-wiki tests for particular development environment, for example a bare wiki with MobileFrontend installed. Of course, the regression tests for an Extension on a clean Mediawiki install would have to be managed from within that repo. </div>
</div></div></blockquote><div><br></div><div>I'd vote for having a set of tests that should pretty much pass against a vagrant environment with just the mediawiki role enabled (basically core with no extensions). When we do MediaWiki major releases, we can take that and move it to whatever repo(s) get greated for the regression tests against the public releases.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>
<div><br></div><div>Test data and test configuration</div><div>* We will soon have the ability to create wiki pages and users on target wikis at run time via the Mediawiki API. This may be required in order to create valuable bare-wiki  tests.  </div>

<div>* Could we create the ability for tests to update configuration and also install Extensions in a bare wiki?  That seems ambitious and even out of scope, but would it be valuable? </div></div></div>
<br>_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
<br></blockquote></div><br></div></div>