<div dir="ltr">I dug a little further by ssh'ing to the exec host where lighttpd is running and sending HTTP request directly using the port defined in /var/run/lighttpd/suggestbot.conf, and lighttpd is running and happy to serve up the pages locally (I don't actually have to ssh to the exec host, I can just as easily send the requests from tools-dev). To me this suggests the problem is somewhere in the proxy.<div><br></div><div><br></div><div>Cheers,</div><div>Morten</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 18 April 2016 at 14:27, Morten Wang <span dir="ltr"><<a href="mailto:nettrom@gmail.com" target="_blank">nettrom@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Merlijn,<div><br></div><div>Thanks for looking into that. Yes, I've noticed that restarting the web service seems to fix the problem, but only intermittently. If I now, about 25 mins after you emailed, go to <a href="http://tools.wmflabs.org/suggestbot/hw.html" target="_blank">http://tools.wmflabs.org/suggestbot/hw.html</a> I get a 503 service unavailable. This has appeared to be a consistent pattern lately, I restart and shortly thereafter it is unavailable again. Which is also why it's difficult to debug what's going on.</div><div><br></div><div><br></div><div>Cheers,</div><div>Morten</div><div><br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On 18 April 2016 at 14:00, Merlijn van Deen (valhallasw) <span dir="ltr"><<a href="mailto:valhallasw@arctus.nl" target="_blank">valhallasw@arctus.nl</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Morten,<div><br></div><div>The 503 suggests the web proxy hit a hitch -- the web server is running on tools-webgrid-lighttpd-1415:37083 (qstat -xml, ssh to that host, ps aux | grep suggestbot; vim /var/run/lighttpd/suggestbot.conf), but the proxy is unaware of that.</div><div><br></div><div>I have restarted your webservice job (qmod -rj 5458226), and this seems to have resolved the issue (<a href="https://tools.wmflabs.org/suggestbot/" target="_blank">https://tools.wmflabs.org/suggestbot/</a> now 404s, but that's your lighttpd webservice and not the proxy).</div><div><br></div><div>Best,</div><div>Merlijn</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div>On 18 April 2016 at 19:00, Morten Wang <span dir="ltr"><<a href="mailto:nettrom@gmail.com" target="_blank">nettrom@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr">I'm currently having an issue with SuggestBot's (tools.suggestbot) web services failing after a while, resulting in a 503 (service unavailable). The web service process on the grid appears to be running, but it also appears to be unreachable.<div><br></div><div>There is nothing in the error.log nor the access.log that suggests anything happened to lighttpd, and I am unsure about what debug settings to add to make it possible to log any errors. The fastcgi.debug setting doesn't appear to reveal anything. In other words, I've reached the end of my abilities to figure this out, and thus I wonder:</div><div><br></div><div>What are some best practices when it comes to debugging what is going on?</div><div><br></div><div><br></div><div>Cheers,</div><div>Morten</div><div><br></div></div>
<br></div></div>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br></div>
<br>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div><br></div>