<div dir="ltr">Hello, <div><br></div><div>I am Vikas, GSOC student working on <span style="font-family:arial,sans-serif;font-size:13px">Automatic cross-language screenshots for user documentation. My GSOC proposal was: </span></div>

<div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px">1. To tag the scenarios whose screenshots are required.</span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br>

</span></div><div><span style="font-family:arial,sans-serif;font-size:13px">2. Have an after hook for that tag, which takes the screenshot.</span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div>

<div><span style="font-family:arial,sans-serif;font-size:13px">3. Also in after hook I can perform any cropping.</span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px">4. The cropped images will be uploaded in wikimedia commons.</span></div>
<div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><font face="arial, sans-serif">The above steps are run as a new jenkins job for each language in order to get cross-language screenshot. </font></div>
<div><br></div><font face="yw-04b1231f2b49ebfc02591937fa6d6ece0e8f71c2-eca7ee7e59f88a4fe40cdf2de557874e--o" style></font></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, May 8, 2014 at 3:27 PM, Krinkle <span dir="ltr"><<a href="mailto:krinklemail@gmail.com" target="_blank">krinklemail@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">Could use something like pdiff:<div><span style="white-space:pre-wrap"> </span><a href="https://bugzilla.wikimedia.org/show_bug.cgi?id=62633" target="_blank">https://bugzilla.wikimedia.org/show_bug.cgi?id=62633</a></div>
<div><br></div><div>Would compare the screenshot during the 'test' pipeline, against the screenshot from the last post-merge for the same branch.</div><div>Wouldn't and shouldn't give you test passing / test failing. It would instead report to Gerrit with how much (if) there is different (percentage/ratio or something), and you can then follow the link to look at it yourself. Especially if you didn't intend for visual changes.</div>
<div><br></div><div>Been using it in some smaller projects and has been very helpful and time saving.</div><div><span class="HOEnZb"><font color="#888888"><br><div>
<div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">— Krinkle</div>
</div></font></span><div><div class="h5">
<br><div><div>On 6 May 2014, at 22:43, Juliusz Gonera <<a href="mailto:jgonera@wikimedia.org" target="_blank">jgonera@wikimedia.org</a>> wrote:</div><br><blockquote type="cite">
  
    
  
  <div text="#000000" bgcolor="#FFFFFF">
    <div>Agreed, but it would be good for this
      mechanism to be as decoupled from the tests themselves as
      possible. This way it can be reused and improved by other people
      (outside of WMF).<br>
      <br>
      <br>
      On 04/22/2014 08:58 AM, Chris McMahon wrote:<br>
    </div>
    <blockquote type="cite">
      <div dir="ltr"><br>
        <div>Yes, but I think it might be possible to share the
          underlying mechanism of taking screen shots among all the
          projects that want to do that, for whatever purposes they
          have.  </div>
        <div><br>
        </div>
        <div>
          -Chris </div>
      </div>
      <div class="gmail_extra"><br>
        <br>
        <div class="gmail_quote">On Tue, Apr 22, 2014 at 8:53 AM, Jon
          Robson <span dir="ltr"><<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>></span>
          wrote:<br>
          <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">This
            wouldn't just be when a test fails. It would be used to
            detect<br>
            regressions in appearance at given steps....<br>
            e.g. Given I go to the login page When I trigger an error
            Then I see<br>
            an error message And the login page looks exactly like it
            was a week<br>
            ago.<br>
            <div>
              <div><br>
                <br>
                On Tue, Apr 22, 2014 at 7:20 AM, Chris McMahon <<a href="mailto:cmcmahon@wikimedia.org" target="_blank">cmcmahon@wikimedia.org</a>>
                wrote:<br>
                ><br>
                ><br>
                > Language people also working on screen shots:<br>
                > <a href="https://gerrit.wikimedia.org/r/#/c/127899/" target="_blank">https://gerrit.wikimedia.org/r/#/c/127899/</a><br>
                ><br>
                ><br>
                > On Mon, Apr 21, 2014 at 2:25 PM, Juliusz Gonera
                <<a href="mailto:jgonera@wikimedia.org" target="_blank">jgonera@wikimedia.org</a>><br>
                > wrote:<br>
                >><br>
                >> Nope, it's an early prototype. It basically
                only makes an updated Cucumber<br>
                >> test fail if new screenshot differs from
                reference screenshot by more than<br>
                >> X%. Adding visual comparison of two screenshots
                would be the next step and<br>
                >> would not be too hard. I might work on it one
                evening this week.<br>
                >><br>
                >><br>
                >><br>
                >> On 04/21/2014 11:42 AM, Tomasz Finc wrote:<br>
                >>><br>
                >>> Great. Eager to see us test with this.<br>
                >>><br>
                >>> Do we have any of its early screenshot
                comparisons up?<br>
                >>><br>
                >>> --tomasz<br>
                >>><br>
                >>> On Fri, Apr 18, 2014 at 4:33 PM, Juliusz
                Gonera <<a href="mailto:jgonera@wikimedia.org" target="_blank">jgonera@wikimedia.org</a>><br>
                >>> wrote:<br>
                >>>><br>
                >>>> I conducted a little bit of research on
                visual regression testing,<br>
                >>>> mainly<br>
                >>>> for the mobile team for now, but it
                could be easily reused for other<br>
                >>>> teams.<br>
                >>>> I had a look at three existing
                solutions that seem somewhat popular and<br>
                >>>> are<br>
                >>>> actively developed:<br>
                >>>><br>
                >>>> * Wraith (<a href="https://github.com/BBC-News/wraith" target="_blank">https://github.com/BBC-News/wraith</a>)<br>
                >>>> * PhantomCSS (<a href="https://github.com/Huddle/PhantomCSS" target="_blank">https://github.com/Huddle/PhantomCSS</a>)<br>
                >>>> * Huxley (<a href="https://github.com/facebook/huxley" target="_blank">https://github.com/facebook/huxley</a>)<br>
                >>>><br>
                >>>> They all have their own pros and cons,
                but in my opinion they share one<br>
                >>>> important disadvantage: they can't be
                easily integrated with our current<br>
                >>>> browser testing setup. For all the
                aforementioned tools we would have to<br>
                >>>> create from scratch a completely
                separate set of tests just for visual<br>
                >>>> regression testing instead of extending
                our existing browser tests.<br>
                >>>><br>
                >>>> I spent a few hours in my spare time
                tinkering with an alternative idea<br>
                >>>> which would enable us to add visual
                regression testing to our<br>
                >>>> Cucumber/Watir<br>
                >>>> tests. The result is a small prototype
                available at<br>
                >>>> <a href="https://github.com/jgonera/photographer" target="_blank">https://github.com/jgonera/photographer</a>.
                There is no docs or anything<br>
                >>>> yet,<br>
                >>>> but I prepared a simple demo patch for
                MobileFrontend:<br>
                >>>> <a href="https://gerrit.wikimedia.org/r/#/c/126878/" target="_blank">https://gerrit.wikimedia.org/r/#/c/126878/</a>.<br>
                >>>><br>
                >>>> The idea is to add a new method for
                Cucumber steps (snap) that takes a<br>
                >>>> screenshot of the current browser state
                and compares it with a<br>
                >>>> screenshot<br>
                >>>> taken in one of the previous test runs.
                To update screenshots that are<br>
                >>>> used<br>
                >>>> as a reference you run tests with env
                var PHOTOGRAPHER=update. If newly<br>
                >>>> taken screenshot differs by too many
                pixels from an old one, the test<br>
                >>>> will<br>
                >>>> fail.<br>
                >>>><br>
                >>>> It's still only an early prototype, but
                I'd appreciate any comments<br>
                >>>> about<br>
                >>>> this idea.<br>
                >>>><br>
                >>>> --<br>
                >>>> Juliusz<br>
                >>>><br>
                >>>>
                _______________________________________________<br>
                >>>> Mobile-l mailing list<br>
                >>>> <a href="mailto:Mobile-l@lists.wikimedia.org" target="_blank">Mobile-l@lists.wikimedia.org</a><br>
                >>>> <a href="https://lists.wikimedia.org/mailman/listinfo/mobile-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/mobile-l</a><br>
                >><br>
                >><br>
                >><br>
                >> _______________________________________________<br>
                >> QA mailing list<br>
                >> <a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br>
                >> <a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
                ><br>
                ><br>
                ><br>
                > _______________________________________________<br>
                > QA mailing list<br>
                > <a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br>
                > <a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
                ><br>
                <br>
                _______________________________________________<br>
                QA mailing list<br>
                <a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br>
                <a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
              </div>
            </div>
          </blockquote>
        </div>
        <br>
      </div>
      <br>
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
QA mailing list
<a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a>
</pre>
    </blockquote>
    <br>
  </div>

_______________________________________________<br>QA mailing list<br><a href="mailto:QA@lists.wikimedia.org" target="_blank">QA@lists.wikimedia.org</a><br><a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
</blockquote></div><br></div></div></div></div><br>_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>Vikas S Yaligar<br>(9481543789)<br>IT Department <br>NITK Surathkal<br>
</div>