<div dir="ltr">Hi,<div>The hadoop cluster is still having issues this morning (ingestion from kafka fails on one partition).</div><div>Please refrain from using it, it needs all possible resources to catch back :)</div><div>Thanks</div><div>Joseph</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jan 28, 2016 at 2:55 PM, Joseph Allemandou <span dir="ltr"><<a href="mailto:jallemandou@wikimedia.org" target="_blank">jallemandou@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi again,<div>The data ingestion problem is fixed, and the cluster is starting the race against new data coming in.</div><div>For the moment we are about 20 hours behind on the two big partitions (text and upload), so catching up will take some time.</div><div>We'll keep you updated as things go along.</div><div>Cheers</div><div>Joseph</div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Thu, Jan 28, 2016 at 11:57 AM, Joseph Allemandou <span dir="ltr"><<a href="mailto:jallemandou@wikimedia.org" target="_blank">jallemandou@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Analytics fellows,<div><br></div><div>We are experiencing issues with loading data into the hadoop cluster, therefore blocking the full job pipeline.</div><div>When fixed, the cluster will be heavily loaded trying to catch up, so please, be nice with it and don't run heavy jobs in the next hours.</div><div>We'll keep you posted about resolution.</div><div>Many thanks, and sorry for the inconvenience.</div><span><font color="#888888"><div>Joseph<br clear="all"><div><br></div>
</div></font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div><div dir="ltr"><b>Joseph Allemandou</b><div><div>Data Engineer @ <span style="font-size:12.8000001907349px">Wikimedia Foundation</span></div><div>IRC: joal</div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><b>Joseph Allemandou</b><div><div>Data Engineer @ <span style="font-size:12.8000001907349px">Wikimedia Foundation</span></div><div>IRC: joal</div></div></div></div>
</div>