<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Thu, Jun 4, 2015 at 10:42 AM, Jon Robson <span dir="ltr"><<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">Cc'ing QA so they can see my latest reply.</div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 4, 2015 at 10:42 AM, Jon Robson <span dir="ltr"><<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">Gather tests take around <span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">7 min 21s to run [1]</span><div><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">Smoke tests 4 mins [2]</span></div><div><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">These would be the initial target.</span></div></div></blockquote></div></div></blockquote><div><br></div><div>That seems like a more reasonable target albeit with proportionally less immediate payoff. Once we have the underlying CI isolation work done,[1] we should definitely shoot for pre-merge job for Gather and other repos with well-defined performant smoke tests.</div><div><br></div><div>[1] <a href="https://phabricator.wikimedia.org/T47499" target="_blank">https://phabricator.wikimedia.org/T47499</a></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">Yesterday 3 patches got merged that had been sitting in Gerrit for approx 3 days that caused the test to break in both Gather and MobileFrontend.</span></div><div><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">Had we run the smoke tests on these tests at some point during those 3 days we would have been able to fix them pre-merging.</span></div></div></blockquote></div></div></blockquote><div><br></div><div>For the proposed setup to help in such cases, the job will need to be defined in JJB and scheduled to run via the gate-and-submit pipeline (pre-merge). At this point the job will be fully integrated into CI and will need to be quite fast and reliable lest it promote force merges.</div><div> </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">Personally I am fine with the delay and running the test jobs one at a time. </span><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">I see this as a low risk useful grass routes experiment by a smaller team that can be fed up to the rest of the Foundation and benefit all teams.  </span><span style="color:rgb(51,51,51);font-family:Helvetica,Arial,sans-serif;font-size:13px;text-align:right">I don't see this as duplicating efforts rather than investigating something we know we all want but on a smaller scale.</span></div></div></blockquote></div></div></blockquote><div><br></div><div>Yes, but this isn't a grassroots effort. It's a time commitment from staff of WMF and we need to consider the cost (and technical debt) we're incurring. (Unless it is being done on volunteer time and, in that case, sorry for the misunderstanding.) I would rather see time commitments for figuring out how to fill the void in process that it seems we're lacking regarding test ownership and workflow around analyzing failures, filing tasks, and fixing broken tests.</div><div><br></div><div>In other words, the relatively small amount of time you and I have spent over the past couple days has been relatively painless and yielded tangible payoff.[2] I'd like to see that kind of time investment be regular and explicitly promoted by leadership.</div><div><br></div><div>[2] <a href="https://integration.wikimedia.org/ci/view/BrowserTests/view/-Dashboard/job/browsertests-MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-firefox-sauce/707/">https://integration.wikimedia.org/ci/view/BrowserTests/view/-Dashboard/job/browsertests-MobileFrontend-en.m.wikipedia.beta.wmflabs.org-linux-firefox-sauce/707/</a></div><div><br></div></div><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Dan Duvall<div>Automation Engineer</div><div><a href="http://wikimediafoundation.org" target="_blank">Wikimedia Foundation</a><br></div></div></div>
</div></div>