<div dir="ltr">Possibly related to <a href="https://phabricator.wikimedia.org/T142932">https://phabricator.wikimedia.org/T142932</a>?<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Nov 27, 2016 at 1:11 AM, Andrew Bogott <span dir="ltr"><<a href="mailto:abogott@wikimedia.org" target="_blank">abogott@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I poked at this, but I'm pretty sure it recovered on its own.  When I tried to restart the service by hand, I got this:<br>
<br>
Traceback (most recent call last):<br>
  File "/usr/bin/webservice-runner", line 27, in <module><br>
    webservice.run(port)<br>
  File "/usr/lib/python2.7/dist-packa<wbr>ges/toollabs/webservice/servic<wbr>es/lighttpdwebservice.py", line 108, in run<br>
    with open(config_path, 'w') as f:<br>
IOError: [Errno 13] Permission denied: '/var/run/lighttpd/admin'<br>
<br>
It's late and this is half-baked (and my attempts to fix the problem destroyed the evidence) but my speculation is that in some situations we are 'leaking' read-only /var/run/lighttpd/admin files.  Once one of them is out there, each time the webservice restarts it's just the luck of the draw whether we hit an exec host that has or doesn't have a read-only file, so the failure is intermittent.<br>
<br>
For now, I've explicitly removed that file on all trusty lighttpd hosts.  When/if this problem recurs we should check the writeability of the complaining file before doing anything else.<br>
<br>
-A<br>
<br>
<br>
On 11/27/16 1:05 AM, shinken wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Notification Type: RECOVERY<br>
<br>
Service: ToolLabs Home Page<br>
Host: ToolLabs<br>
Address: <a href="http://tools.wmflabs.org" rel="noreferrer" target="_blank">tools.wmflabs.org</a><br>
State: OK<br>
<br>
Date/Time: Sun 27 Nov 07:05:01 UTC 2016<br>
<br>
Additional Info:<br>
<br>
HTTP OK: HTTP/1.1 200 OK - 3670 bytes in 0.041 second response time<br>
</blockquote>
<br>
<br>
<br>
______________________________<wbr>_________________<br>
Labs-admin mailing list<br>
<a href="mailto:Labs-admin@lists.wikimedia.org" target="_blank">Labs-admin@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-admin" rel="noreferrer" target="_blank">https://lists.wikimedia.org/ma<wbr>ilman/listinfo/labs-admin</a><br>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Chase Pettet<br></div>Engineering Manager -- Labs<br></div><div>chasemp on <a href="https://phabricator.wikimedia.org/p/chasemp/" target="_blank">phabricator</a> and IRC<br></div></div></div></div></div></div>
</div>