<div dir="ltr"><br><div>Good point.  I'll dust off my regexp chops and see if I can parse some useful content from the fatals log. Probably won't be today, but it's a good idea considering that we're getting more than we expected. </div>
<div>-Chris </div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Feb 27, 2014 at 12:53 PM, Jon Robson <span dir="ltr"><<a href="mailto:jrobson@wikimedia.org" target="_blank">jrobson@wikimedia.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">But to the average Joe like me I have no idea what the offender is as<br>
I don't have the keys to the kingdom.<br>
<br>
If this gave more detail - such as MobileFrontend had a fatal this<br>
would become more useful pretty much everyone else on this mailing<br>
list... no?<br>
<div class="HOEnZb"><div class="h5"><br>
On Thu, Feb 27, 2014 at 11:44 AM, Chris McMahon <<a href="mailto:cmcmahon@wikimedia.org">cmcmahon@wikimedia.org</a>> wrote:<br>
> They are a reminder of how often we incur fatal errors on beta labs.<br>
> Frankly, we're getting more of them than I thought we would.<br>
><br>
> For now they remain useful to me (at least (and for anyone else who wants to<br>
> get a sense of what is tanking on beta labs-- Wikidata was yesterday's main<br>
> offender)).<br>
><br>
><br>
><br>
> On Thu, Feb 27, 2014 at 12:07 PM, Jon Robson <<a href="mailto:jrobson@wikimedia.org">jrobson@wikimedia.org</a>> wrote:<br>
>><br>
>> I'm curious about these emails as I'm about to set a gmail filter to<br>
>> stop them spamming my inbox.<br>
>><br>
>> These email's are very cryptic to me and don't seem actionable. I have<br>
>> no idea how to fix the fatals.<br>
>><br>
>> Would this email be better targeted at another mailing list or maybe<br>
>> some kind of link to an explanation on how to inspect these logs...? I<br>
>> notice the login prompt points to Bryan Davis's office wiki page but<br>
>> for those outside Wikimedia that page can't be viewed... I viewed the<br>
>> page and also found it super cryptic. Had hoped to understand how to<br>
>> view it but couldn't work it out...<br>
>><br>
>> On Sun, Feb 23, 2014 at 4:00 PM, Beta fatals <<a href="mailto:qa@lists.wikimedia.org">qa@lists.wikimedia.org</a>><br>
>> wrote:<br>
>> > The file at /data/project/logs/fatal.log on the deployment cluster has a<br>
>> > new<br>
>> > entry within the last twelve hours.  You should check it out by<br>
>> > connecting on<br>
>> > any instance on the beta cluster (ie: deployment-bastion.pmtpa.wmflabs<br>
>> > ).<br>
>> ><br>
>> > You can also look at logstash:<br>
>> ><br>
>> > <a href="https://logstash.wmflabs.org/#/dashboard/elasticsearch/fatalmonitor" target="_blank">https://logstash.wmflabs.org/#/dashboard/elasticsearch/fatalmonitor</a><br>
>> ><br>
>> ><br>
>> > _______________________________________________<br>
>> > QA mailing list<br>
>> > <a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
>> > <a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
>><br>
>> _______________________________________________<br>
>> QA mailing list<br>
>> <a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
>> <a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
><br>
><br>
><br>
> _______________________________________________<br>
> QA mailing list<br>
> <a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
> <a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
><br>
<br>
_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
</div></div></blockquote></div><br></div>