<p dir="ltr">I thought both admin and xtools ran on k8s?  Maybe some issue with new webservice package?</p>
<p dir="ltr">Thanks Alex</p>
<div class="gmail_extra"><br><div class="gmail_quote">On Nov 20, 2016 1:32 AM, "Alex Monk" <<a href="mailto:amonk@wikimedia.org">amonk@wikimedia.org</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">[06:33:00] <icinga-wm> PROBLEM - tools homepage -admin tool- on <a href="http://tools.wmflabs.org" target="_blank">tools.wmflabs.org</a> is CRITICAL: HTTP CRITICAL: HTTP/1.1 503 Service Not Available - 531 bytes in 0.021 second response time<div>[06:34:03] <shinken-wm> PROBLEM - ToolLabs Home Page on toollabs is CRITICAL: HTTP CRITICAL: HTTP/1.1 503 Service Not Available - string 'Magnus' not found on '<a href="http://tools.wmflabs.org:80/" target="_blank">http://tools.wmflabs.org:80/</a>' - 531 bytes in 0.031 second response time</div><div><br></div><div>I started looking into this</div><div>* Checked a couple of tools, other things e.g. GUC appear up (so didn't SMS any ops as I'm not sure the main page is that important)</div><div>* Found it runs on the grid and tried `qmod -rj lighttpd-admin`</div><div>* It appears up after this, but only briefly, then it's gone again<br>* I try to figure out how to start it</div><div>* Attempted 'webservice start', which looked OK, but 'webservice status' would always say 'Your webservice is not running'</div><div>* ~07:13:24ish - it mysteriously appears online again</div><div>* 07:16:52 - Matthew Bowker informs me that xTools was down too (no monitoring from shinken or icinga alerted IRC of this, but possibly connected) - he says the error from 'webservice restart' was <a href="https://www.irccloud.com/pastebin/w6AfLja7/" target="_blank">https://www.irccloud.com/<wbr>pastebin/w6AfLja7/</a></div><div><br></div><div>I was looking at /data/project/.system/<wbr>gridengine/spool/qmaster/<wbr>messages while this was happening, I see quite a few 'host "tools-cron-01.tools.eqiad.<wbr>wmflabs" is no admin host' errors in there though I have no reason to believe that's connected.</div></div>
<br>______________________________<wbr>_________________<br>
Labs-admin mailing list<br>
<a href="mailto:Labs-admin@lists.wikimedia.org">Labs-admin@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/<wbr>mailman/listinfo/labs-admin</a><br>
<br></blockquote></div></div>