<div dir="ltr">Looking at it, but it's not immediately obvious to me what's going on. SGE reports the queues are overloaded, but as far as I can see, most nodes are not. <div><br></div><div>I restarted the grid master, which seems to have solved the issue for now.</div><div><br></div><div>Further tracking at <a href="https://phabricator.wikimedia.org/T110994">https://phabricator.wikimedia.org/T110994</a>.</div><div><br></div><div>Merlijn</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 1 September 2015 at 07:40, Bryan White <span dir="ltr"><<a href="mailto:bgwhite@gmail.com" target="_blank">bgwhite@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Since 3z today, no new jobs of mine has started on the queue.  It just sits in pending jobs.   The jobs that started before 3z  were all hung.<span class="HOEnZb"><font color="#888888"><div><br></div><div>Bryan</div></font></span></div>
<br>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br></div>