<div dir="ltr">Hi,<div>Quick follow-up: All data has been backfilled, you can get back to normal cluster activity :)</div><div>Sorry for the inconvenience.</div><div>Joseph</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 1, 2016 at 2:26 PM, Joseph Allemandou <span dir="ltr"><<a href="mailto:jallemandou@wikimedia.org" target="_blank">jallemandou@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div><b>TL,DR: Please don't use hive / spark / hadoop before next week.</b></div><div><br></div><div>Last week the Analytics Team performed an upgrade to the Hadoop Cluster.</div><div>It went reasonably well except for many of the hadoop processes were launched with a special option to NOT use utf-8 as default encoding.</div><div>This issue caused trouble particularly in page title extraction and was detected last sunday (many kudos to the people having filled bugs on Analytics API about encoding :)</div><div>We found the bug and fixed it yesterday, and backfill starts today, with the cluster recomputing every dataset starting 2016-02-23 onward.</div><div>This means you shouldn't query last week data during this week, first because it is incorrect, and second because you'll curse the cluster for being too slow :)</div><div><br></div><div>We are sorry for the inconvenience.</div><div>Don't hesitate to contact us if you have any question</div><span class="HOEnZb"><font color="#888888"><div><br clear="all"><div><br></div>-- <br><div><div dir="ltr"><b>Joseph Allemandou</b><div><div>Data Engineer @ <span style="font-size:12.8px">Wikimedia Foundation</span></div><div>IRC: joal</div></div></div></div>
</div></font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><b>Joseph Allemandou</b><div><div>Data Engineer @ <span style="font-size:12.8000001907349px">Wikimedia Foundation</span></div><div>IRC: joal</div></div></div></div>
</div>