<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Jul 12, 2016 at 4:07 PM, Greg Grossmeier <span dir="ltr"><<a href="mailto:greg@wikimedia.org" target="_blank">greg@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><quote name="Greg Grossmeier" date="2016-07-12" time="09:24:38 -0700"><br>
> <a href="https://phabricator.wikimedia.org/T119736" rel="noreferrer" target="_blank">https://phabricator.wikimedia.org/T119736</a> - "Could not find local user data for {Username}@{wiki}"<br>
><br>
> There was an order of magnitude increase in the rate of those errors<br>
> that started on July 7th.<br>
><br>
> Investigation and remediation is on-going.<br>
<br>
Investigation and remediation is mostly complete[0] and the vast<br>
majority of cases have been addressed. There are still users who will<br>
experience this error for the next ~1 day.[1]<br></blockquote><div><br></div><div>Is it actually fixed? It doesn't look like it, from the logs.</div><div><br></div><div>Since midnight UTC on July 7, 3,195 distinct users have tried and failed to log in a combined total of 25,047 times, or an average of approximately eight times per user. The six days that have passed since then were business as usual for the Wikimedia Engineering.</div><div><br></div><div>Our failure to react to this swiftly and comprehensively is appalling and embarrassing. It represents failure of process at multiple levels and a lack of accountability.</div><div><br></div><div>I think we need to have a serious discussion about what happened, and think very hard about the changes we would need to make to our processes and organizational structure to prevent a recurrence.</div><div><br></div><div>I think we should also reach out to the users that were affected and apologize. </div></div></div></div>