<div dir="ltr">By the way, I'm speaking about the Load field shown here <a href="http://tools.wmflabs.org/?status">http://tools.wmflabs.org/?status</a> Not the load in top command. (I'm not sure if it is the same).<br>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-05-26 18:20 GMT+02:00 Maximilian Doerr <span dir="ltr"><<a href="mailto:cybernet678@yahoo.com" target="_blank">cybernet678@yahoo.com</a>></span>:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Wait.  The grid should have a limit of 15.  I've hit that limit so many times, I received my own exec node.<br>
<br>
Gesendet von Maximilian's iPhone.<br>
(Sent from Maximilian's iPhone.)<br>
<div class="HOEnZb"><div class="h5"><br>
> On May 26, 2014, at 10:29, Tim Landscheidt <<a href="mailto:tim@tim-landscheidt.de">tim@tim-landscheidt.de</a>> wrote:<br>
><br>
> Emilio J. Rodríguez-Posada <<a href="mailto:emijrp@gmail.com">emijrp@gmail.com</a>> wrote:<br>
><br>
>> These days I'm processing Wikipedia dumps. Today I tried English Wikipedia,<br>
>> which is in 150+ chunks (pages-meta-history*.7z).<br>
><br>
>> I have a bash script that launches the jsub jobs, one job per chunk, so I<br>
>> queued more than +150 jobs. After that, I saw that 95 jobs of them were<br>
>> started and spread all over the execution nodes.<br>
><br>
>> I saw the load of some of the nodes to reach 250%, is this normal? I<br>
>> stopped all them because I'm not sure if I have to launch small batches, 10<br>
>> each time or so, or it is OK to launch all them and ignore the CPU load of<br>
>> execution nodes.<br>
><br>
> The grid should keep the average load below 1, but that is<br>
> its job, not yours :-).  So launching 150 jobs is totally<br>
> fine.  If you see a load of more than 100 % for a prolonged<br>
> time, notifying an admin doesn't hurt, but due to the nature<br>
> of the system -- the grid can only guess what the /future/<br>
> load of a job will be -- outliers are to be expected.<br>
><br>
> Tim<br>
><br>
><br>
> _______________________________________________<br>
> Labs-l mailing list<br>
> <a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
> <a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</div></div></blockquote></div><br></div>