<div dir="ltr"><br><div>I've mentioned this briefly to Arthur, now that we have a Team Practices Group I think we should (at least) let them know when we indentify something needing a cultural change, especially if we're going to try to effect such a cultural change. This is apropos of <a href="https://phabricator.wikimedia.org/T89049">https://phabricator.wikimedia.org/T89049</a><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 10, 2015 at 8:27 PM, Ori Livneh <span dir="ltr"><<a href="mailto:ori@wikimedia.org" target="_blank">ori@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Tue, Feb 10, 2015 at 3:44 PM, Nuria Ruiz <span dir="ltr"><<a href="mailto:nuria@wikimedia.org" target="_blank">nuria@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><span>><span style="font-size:12.8000001907349px">One possibility is channeling the errors to Sentry which has Phabricator integration. The ticket for doing that in beta >is </span><a href="https://phabricator.wikimedia.org/T85239" style="font-size:12.8000001907349px" target="_blank">https://phabricator.wikimedia.org/T85239</a><span style="font-size:12.8000001907349px">, I'm hoping to be able to work on it within a few weeks.</span></span><div><span style="font-size:12.8000001907349px">Sounds real good, I think grouping errors in sentry and starting assigning the biggest offenders (might not be the most dangerous but the ones that pollute the log the most) via phabricator tasks will be a step towards the cultural shift Antoine was talking about. </span></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div>On Tue, Feb 10, 2015 at 2:11 PM, Gergo Tisza <span dir="ltr"><<a href="mailto:gtisza@wikimedia.org" target="_blank">gtisza@wikimedia.org</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div><div dir="ltr">On Tue, Feb 10, 2015 at 1:27 PM, Antoine Musso <span dir="ltr"><<a href="mailto:amusso@wikimedia.org" target="_blank">amusso@wikimedia.org</a>></span> wrote:<span><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">A feature request for the audience: the ability in log stash to<br>associate a message fingerprint with a Phabricator task.  This way we<br>could filter out triaged messages and focus on new comers.<br></blockquote><div><br></div></span><div>One possibility is channeling the errors to Sentry which has Phabricator integration. The ticket for doing that in beta is <a href="https://phabricator.wikimedia.org/T85239" target="_blank">https://phabricator.wikimedia.org/T85239</a>, I'm hoping to be able to work on it within a few weeks.</div><div><br></div><div>Also, it would be nice if the system would take a guess at who caused the error and alert them directly. Squash for example can git blame the stack trace and find the most recent change: <a href="http://squash.io/" target="_blank">http://squash.io/</a></div></div></div></div></blockquote></div></div></blockquote><div><br></div></span><div>Ok, but the absence of these conveniences is not a blocker to getting this daily routine set up. Chad and Antoine know MediaWiki's logging infrastructure better than most.</div><div><br></div><div>I agree with Antoine that responsibly for monitoring failures should be distributed, but I also note that our attempts to tackle this problem collectively have failed. There has to be a cultural change, yes, but a specific party has to own this and be accountable. If you come to feel that deployers are exploiting you by neglecting to monitor the changes they push out, as the Release Engineering team, you have ways to respond.</div><div><br></div></div></div></div>
<br>_______________________________________________<br>
Engineering mailing list<br>
<a href="mailto:Engineering@lists.wikimedia.org">Engineering@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/engineering" target="_blank">https://lists.wikimedia.org/mailman/listinfo/engineering</a><br>
<br></blockquote></div><br></div></div>