<p dir="ltr">This looks like a good time to fork this conversation as this is a good problem to fix. How can we notify developers when they break other things in the stack and how?</p>
<div class="gmail_quote">On 7 Mar 2014 05:36, "Bartosz Dziewoński" <<a href="mailto:matma.rex@gmail.com">matma.rex@gmail.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
(continued, about the browser testing)<br>
<br>
(tl;dr where are the tests and how do I know they fail?)<br>
<br>
So, we have some slick browser tests. Awesome! But what's not good is<br>
that the tests run off-site, the results are not reported back to<br>
gerrit nor Bugzilla (unless someone manually files a bug, usually<br>
Chris) not IRC nor anywhere else, and are generally non-discoverable<br>
until someone shouts at you for breaking them. (As Tim guessed, I did<br>
not know about any failures until Jon told me.)<br>
<br>
In fact, I still have no idea what exactly the tests encompass (I've<br>
heard about some browser tests for VE because I lurk a lot, never<br>
heard of any for core) or where to find them or how to run them.<br>
Either I'm slow or we have a serious documentation failure here.<br>
<br>
Can something be done about it? Can we have the results reported<br>
somewhere visible – preferably to gerrit, as jenkins already reports<br>
some post-merge checks there? Or maybe we can have automatically filed<br>
bug reports if the build breaks? A bot reporting test status on<br>
#wikimedia-dev? Anything?<br>
<br>
(I understand that the tests take too long to run them in the<br>
pre-merge checks.)<br>
<br>
(Jon proposed reverting problematic changes outright, but to me that<br>
seems like a bit of an overreaction – bugs in tests and false<br>
positives happen, let's not make a huge fuss out of that.)<br>
<br>
(to be continued: about the deployment)<br>
<br>
______________________________<u></u>_________________<br>
Wikitech-l mailing list<br>
<a href="mailto:Wikitech-l@lists.wikimedia.org" target="_blank">Wikitech-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/wikitech-l" target="_blank">https://lists.wikimedia.org/<u></u>mailman/listinfo/wikitech-l</a></blockquote></div>