<div dir="ltr">Hello all,<div><br></div><div>My 'tsreports' webservice randomly dies every now and then. qacct suggests this is due to OOM:</div><div><br></div><div><div>tools.tsreports@tools-login:~$ qacct -j 487745</div>

</div><div><div>qname        webgrid-lighttpd</div><div>(...)</div><div>jobname      lighttpd-tsreports<br></div><div>jobnumber    487745</div><div>(...)</div><div>qsub_time    Wed Apr 23 08:18:12 2014</div><div>start_time   Fri May 23 14:30:17 2014</div>

<div>end_time     Fri Jun  6 10:51:21 2014</div><div>(...)</div><div>failed       0<br></div><div>exit_status  0</div><div>(...)</div><div>maxvmem      3.973G</div></div><div><br></div><div><br></div><div>I have no clue how to debug this, though; the lighttpd error log just shows</div>

<div><br></div><div><div>2014-06-06 10:51:20: (mod_fastcgi.c.3061) got proc: pid: 12119 socket: unix:/tmp/tsreports-index.fcgi.sock-0 load: 1</div><div>2014-06-06 10:51:20: (server.c.1512) server stopped by UID = 0 PID = 12087</div>

<div>2014-06-06 10:51:20: (server.c.1502) unlink failed for: /var/run/lighttpd/tsreports.pid 2 No such file or directory</div><div>2014-06-06 10:51:20: (server.c.1512) server stopped by UID = 0 PID = 12087</div><div>2014-06-06 10:51:20: (server.c.1502) unlink failed for: /var/run/lighttpd/tsreports.pid 2 No such file or directory</div>

<div>2014-06-06 10:51:20: (server.c.1502) unlink failed for: /var/run/lighttpd/tsreports.pid 2 No such file or directory</div><div>2014-06-06 10:51:20: (server.c.1512) server stopped by UID = 0 PID = 12087</div><div>2014-06-06 10:51:21: (server.c.1502) unlink failed for: /var/run/lighttpd/tsreports.pid 2 No such file or directory</div>

<div>2014-06-06 10:51:21: (server.c.1512) server stopped by UID = 0 PID = 12087</div><div>2014-06-06 10:51:20: (server.c.1512) server stopped by UID = 0 PID = 12087</div></div><div><br></div><div>which is not very informative, to say the least.</div>

<div><br></div><div>So: how can one debug these issues?</div><div><br></div><div>To add insult to the injury, SGE doesn't even send an e-mail to tell me it killed the webserver, nor does it re-start the webserver. Either of those would be reasonable (especially the option 'restart the webserver'). Now I had to be notified by someone on my talk page...</div>

<div><br></div><div>Merlijn</div></div>