<div dir="ltr"><br><div>Hello QAers, </div><div><br></div><div><div>I installed a new 1.22 Mediawiki locally and ran the browsertests repository against it. Only one test passed, create_account.feature. </div><div><br></div>
<div>After a little investigation, I want to start a discussion about the value of tests for a clean wiki, and how they should be managed.  </div><div><br></div><div>A bare Mediawiki wiki is very different than a Wikipedia wiki, not only in the lack of important features, but even for example the default editor controls the user sees are the primitive ones Wikipedia users see only when using IE6.  </div>
<div><br></div><div>Some options for bare-wiki browser tests: </div><div><br></div><div>Raw installs:</div><div>* To run as a smoke test in WMF Jenkins using PhantomJS or headless Firefox.  We can make a proof of concept for this using the create_account.feature test. Beyond that would take significant thought and design.</div>
<div>* To run as a regression test for public releases of Mediawiki, outside of Wikipedia and the work of the Wikimedia Foundation.  These would have to be in a repo of their own, because they will share almost no code with tests pointed to Wikipedia environments.  Given the difference between a new Mediawiki install and a Wikipedia wiki, would this be better done by volunteers, with support from QA helpers?</div>
<div><br></div><div>Development environments:</div><div>* What may be more valuable would be bare-wiki tests for particular development environment, for example a bare wiki with MobileFrontend installed. Of course, the regression tests for an Extension on a clean Mediawiki install would have to be managed from within that repo. </div>
<div><br></div><div>Test data and test configuration</div><div>* We will soon have the ability to create wiki pages and users on target wikis at run time via the Mediawiki API. This may be required in order to create valuable bare-wiki  tests.  </div>
<div>* Could we create the ability for tests to update configuration and also install Extensions in a bare wiki?  That seems ambitious and even out of scope, but would it be valuable? </div></div></div>