<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">The intent of lots of jobs is to have lots of redis queue workers making network requests in parallel, so it would probably be significant work with python's threading or twisted or the like to consolidate multiple requests into a single OS process, but I'll start looking into it, and the resource increase  seems to have us covered in the meantime. Thanks!<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Mar 29, 2015 at 7:49 PM, Yuvi Panda <span dir="ltr"><<a href="mailto:yuvipanda@gmail.com" target="_blank">yuvipanda@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Part of the reason was that they asked for trusty and we only had one<br>
trusty node working for exec hosts, apparently. I have just added 5<br>
more and that should help.<br>
<br>
However, +1 to what Coren said. Can you simplify your code to combine<br>
the tasks together?<br>
<div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</div></div></blockquote></div><br></div>