<div dir="rtl"><div dir="ltr">[I'm checking this with Nuria now.]<br></div></div><div class="gmail_extra"><br clear="all"><div><div dir="rtl"><br>--<br>Amir Elisha Aharoni‏ ። אָמִיר אֱלִישָׁע אַהֲרוֹנִי<br>Language Engineering‏ ። הַנְדָּסָה לְשׁוֹנִית<br>

Wikimedia Foundation‏ ። קֶרֶן וִיקִימֶדְיָה</div></div>
<div dir="ltr"><br><br><div class="gmail_quote">2014-06-25 18:12 GMT+03:00 Nuria Ruiz <span dir="ltr"><<a href="mailto:nuria@wikimedia.org" target="_blank">nuria@wikimedia.org</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div style="font-family:arial,sans-serif;font-size:12.727272033691406px">Team,</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">


We had an spike on EL yesterday nite that was caught by our alarms. The spike can be seen here:</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">


<a href="http://graphite.wikimedia.org/render/?width=588&height=311&_salt=1403681192.775&target=eventlogging.overall.valid.rate&target=eventlogging.overall.raw.rate" target="_blank">http://graphite.wikimedia.org/render/?width=588&height=311&_salt=1403681192.775&target=eventlogging.overall.valid.rate&target=eventlogging.overall.raw.rate</a><br>


</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">


We look at the data for a little while and we can see the schema 'UniversalLanguageSelector-tofu' logging at a higher rate than it normally does. </div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">


<br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">Can you guys look into what there might have been going on? Looks like the "higher than normal logging" might have been triggered by a Localization update that happened yesterday.</div>


<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div>The event "02:50 logmsgbot: LocalisationUpdate ResourceLoader cache refresh completed at Wed Jun 25 02:48:53 UTC 2014 (duration 48m 52s)" from <a href="https://wikitech.wikimedia.org/wiki/Server_Admin_Log" target="_blank">https://wikitech.wikimedia.org/wiki/Server_Admin_Log</a></div>


<div>happened about at the same time we saw the spike. <br></div><div><br><br></div><div>Thanks, <br><br>Nuria<br><br><br>---------- Forwarded message ----------<br>From: <<a href="mailto:icinga@neon.wikimedia.org" target="_blank">icinga@neon.wikimedia.org</a>><br>


Date: Wed, Jun 25, 2014 at 4:46 AM<br>Subject: ** PROBLEM alert - tungs<font face="arial, sans-serif">ten/Throughput of event logging events is CRITICAL **</font><br></div><div class="gmail_quote" style="font-family:arial,sans-serif;font-size:12.727272033691406px">


To: <a href="mailto:nuria@wikimedia.org" target="_blank">nuria@wikimedia.org</a><br><br><br>❤❤❤❤❤ Icinga ❤❤❤❤❤<br><br>Notification Type: PROBLEM<br><br>Service: Throughput of event logging events<br>Host: tungsten<br>Address: 10.64.0.18<br>


State: CRITICAL<br><br>Date/Time: Wed Jun 25 02:46:22 UTC 2014<br><br>Additional Info:<br><br>CRITICAL: 7.14% of data exceeded the critical threshold [500.0]<br>Love, Icinga</div></blockquote></div></div></div>