<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jul 31, 2014 at 10:19 PM, Ori Livneh <span dir="ltr"><<a href="mailto:ori@wikimedia.org" target="_blank">ori@wikimedia.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">(Apologies for cross-posting.)<div><br></div><div>We've been noticing an issue with lock-ups on the beta cluster application servers for the past few days. It happens about once or twice a day.</div>
</div></blockquote><div><br></div><div>I think it happens twice a day, once around early afternoon Pacific and again overnight Pacific. I think the outages correspond with our twice-daily browser test builds, which are the main source of load on beta labs.   </div>
<div><br></div><div>As I understand it, the symptom is that the apache child processes stop responding. When child processes stop responding, apache spawns more children until some maximum number of child apache processes all stop responding.  At this point the system quickly becomes sluggish and then just reports 503 errors.  The API URL fails to return anything also.</div>
<div><br></div><div>-Chris </div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>

<br></div><div>It just happened again on both application servers, and I'd really like to try and get to the bottom of things this time. I'll give up and force a restart if I haven't figured it out by 6:30 UTC, about an hour from now. Please accept my apology if this is disrupting your development or QA work, and ping me on IRC if you need Beta back up urgently.</div>


</div>
<br>_______________________________________________<br>
QA mailing list<br>
<a href="mailto:QA@lists.wikimedia.org">QA@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/qa" target="_blank">https://lists.wikimedia.org/mailman/listinfo/qa</a><br>
<br></blockquote></div><br></div></div>