<div dir="ltr">On Tue, Aug 19, 2014 at 12:11 PM, James Forrester <span dir="ltr"><<a href="mailto:jforrester@wikimedia.org" target="_blank">jforrester@wikimedia.org</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class=""><div style="font-family:arial,helvetica,sans-serif"><span style="font-family:arial">On 19 August 2014 11:19, S Page </span><span dir="ltr" style="font-family:arial"><<a href="mailto:spage@wikimedia.org" target="_blank">spage@wikimedia.org</a>></span><span style="font-family:arial"> wrote:</span><br>


</div></div><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div class=""><div>
<br>On Mon, Aug 18, 2014 at 4:35 PM, Maryana Pinchuk <span dir="ltr"><<a href="mailto:mpinchuk@wikimedia.org" target="_blank">mpinchuk@wikimedia.org</a>></span> wrote:<br>

</div></div><div class=""><div class="gmail_extra">
<div class="gmail_quote"><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>and Design/UX for running remote and in-person user tests<br>


</div></div></blockquote></div><div><br>That seems crazy. Beta labs constantly updates with the latest merged changes to core and dozens of extensions, I think 288 times a day. Any commit could break it, and they regularly do! Beta labs is there to test to find breaking changes before they go live, not for user testing.<br>


</div></div></div></div></div></div></blockquote><div><br></div><div><div style="font-family:arial,helvetica,sans-serif">I disagree. ​It's generally a reliable platform from which to user-test master; it's rare for code to get merged into master that breaks anything, let alone breaks the whole cluster.</div>
</div></div></div></div></blockquote><div><br>You may be right. It's been hard to tell after the fact if a code check-in caused a transient failure in Flow automated tests on Beta labs. Beta labs config changes, trying new things like HHVM/Cirrus/CentralLogin, and operational issues may be bigger sources of the instability Maryana noted. Performing UX testing with the public on a "generally reliable platform" is a gamble, I'm glad it's working for you. I expect Beta labs to regularly be unstable, know to retry and ping people when it fails, and am happy when it works. Maybe Maryana and Abbey had different expectations.<br>
<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div class=""><div></div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>

<div class="gmail_extra"><div class="gmail_quote"><div>Maybe we should document better how to set up a reasonably performant labs instance with a decent set  of wiki pages, templates, images, etc. Then UX can spin up <a href="http://ux-wikimania.wmflabs.org" target="_blank">ux-wikimania.wmflabs.org</a> and be isolated from the firehose of changes.<br>


</div></div></div></div></div></blockquote><div><br></div></div><div><div style="font-family:arial,helvetica,sans-serif">​For the love of all that is good in the world, can we <i>please</i> not create yet another fork-wiki in Labs that someone needs to waste cycles updating </div>
</div></div></div></div></blockquote><div dir="ltr"><br>Labs instances are cheap, and reliable once set up. Create one, try stuff, <i>delete it</i>. It's the third step we're bad at :)<br><br></div><div>Cheers, and again thanks for Beta labs.<br>
<br></div></div>--<br><div dir="ltr">=S Page  Features engineer<br></div>
</div></div>