<div dir="ltr">Dan, Jon,<div><br></div><div>I got caught up in meetings yesterday – you'll see this email a lot during Q4 ;) – so I delayed sending this email, so forgive the repetitions of some of Dan's points/questions:</div><div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Here are a few ways I can think of:<ul><li>include feedback on browser tests – or lack thereof – during code review</li></ul><ul><li>make browser test failures even more visible than they currently are – but maybe not the success reports, eh?</li></ul><ul><li>can these reports be made to point at a bunch of candidate changes that may have broken 'em?</li></ul><ul><li>hold a browser-test-athon with the team and any volunteers at the {Lyon,Wikimania} hackathon</li></ul><ul><li>make it trivial to run 'em, if it isn't already</li></ul></blockquote><div>From what little experience I have of trying to establish team practices, I'd say that it's best to advocate for <practice> and demonstrate its value*, rather than criticise. I'd love to see you funnel your passion for browser testing into a talk or series of talks for the mobile team – the org, maybe? – or maybe you've got some recommended reading or talks you'd like to share that'll inspire.</div><div><br></div><div>–Sam</div></div><div><br></div><div>* If you'd like to hear my opinions about browser testing, then insert one beer and wind me up a little</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 30, 2015 at 8:47 PM, Dan Duvall <span dir="ltr"><<a href="mailto:dduvall@wikimedia.org" target="_blank">dduvall@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><a href="https://phabricator.wikimedia.org/T94472" target="_blank">https://phabricator.wikimedia.org/T94472</a><br>
<div class="HOEnZb"><div class="h5"><br>
On Mon, Mar 30, 2015 at 12:39 PM, Dan Duvall <<a href="mailto:dduvall@wikimedia.org">dduvall@wikimedia.org</a>> wrote:<br>
> On Mon, Mar 30, 2015 at 10:30 AM, Jon Robson <<a href="mailto:jdlrobson@gmail.com">jdlrobson@gmail.com</a>> wrote:<br>
>> It really saddens me how very few engineers seem to care about browser<br>
>> tests. Our browser tests are failing all over the place. I just saw this bug<br>
>> [1] which has been sitting around for ages and denying us green tests in<br>
>> Echo one of our most important features.<br>
>><br>
>> How can we change this anti-pattern?<br>
><br>
> That's exactly what I'd like to explore with you and other like minds.<br>
><br>
>> Dan Duval, would it make sense to do a survey as you did with Vagrant to<br>
>> understand how our developers think of these? Such as who owns them... who<br>
>> is responsible for a test failing... who writes them... who doesn't<br>
>> understand them.. why they don't understand them etc...?<br>
><br>
> Great idea! I suspect that the number of false positives in a given<br>
> repo's test suite is inversely related to the number of developers on<br>
> the team actually writing tests, and the affordance by managers to do<br>
> so. If you're not regularly writing tests, you're probably not going<br>
> to feel comfortable troubleshooting and refactoring someone else's. If<br>
> TDD isn't factored in to your team's velocity, you may feel like the<br>
> investment in writing tests (or learning to write them) isn't worth it<br>
> or comes at the risk of missing deadlines.<br>
><br>
> A survey could definitely help us to verify (or disprove) these relationships.<br>
><br>
> Some other questions I can think of:<br>
><br>
>  - How valuable are unit tests to the health/quality of a software project?<br>
>  - How valuable are browser tests to the health/quality of a software project?<br>
>  - How much experience do you have with TDD?<br>
>  - Would you like more time to learn or practice TDD?<br>
>  - How often do you write tests when developing a new feature?<br>
>    - What kinds of test? (% of unit test vs. browser test)<br>
>  - How often do you write tests to verify a bugfix?<br>
>    - What kinds of test? (% of unit test vs. browser test)<br>
>  - When would you typically write a unit test? (before implementation,<br>
> after implementation, when stuff breaks)<br>
>  - When would you typically write a browser test? (during conception,<br>
> before implementation, after implementation, when stuff breaks)<br>
>  - What are the largest barriers to writing/running unit tests? (test<br>
> framework, documentation/examples, execution time, CI, structure of my<br>
> code, structure of code I depend on)<br>
>  - What are the largest barriers to writing/running browser tests?<br>
> (test framework, documentation/examples, execution time, CI)<br>
>  - What are the largest barriers to debugging test failure? (test<br>
> framework, confusing errors/stack traces, documentation/examples,<br>
> debugging tools)<br>
><br>
> I'll create a Phab task to track it. :)<br>
><br>
> --<br>
> Dan Duvall<br>
> Automation Engineer<br>
> Wikimedia Foundation<br>
<br>
<br>
<br>
--<br>
Dan Duvall<br>
Automation Engineer<br>
Wikimedia Foundation<br>
<br>
_______________________________________________<br>
Mobile-l mailing list<br>
<a href="mailto:Mobile-l@lists.wikimedia.org">Mobile-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/mobile-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/mobile-l</a><br>
</div></div></blockquote></div><br></div>