<div dir="ltr">Hello all,<div><br></div><div>During the past reboots, it seems not all jobs were correctly restarted. This was caused by an issue [1] we do not completely understand, but it causes jobs to fail while they are in the process of being rescheduled. We are sorry for the inconvenience and extra maintenance burden this puts on you as tool developers.</div><div><br></div><div>The possibly affected jobs are the following (sorted by user):</div><div><br></div><div><div>tools.abibot abibot</div><div>tools.admin toolhistory<br></div><div>tools.anon anon<br></div><div>tools.betacommand-dev stalkbotalerts<br></div><div>tools.betacommand-dev stalkboten</div><div>tools.bracketbot run<br></div><div>tools.cluebot cbng_redis_relay<br></div><div>tools.cluebot cbng_relay</div><div>tools.cluestuff recent_huggle<br></div><div>tools.cluestuff recent_huggle3</div><div>tools.coibot coibot<br></div><div>tools.commons-delinquent demon<br></div><div>tools.congressedits congresseditors<br></div><div>tools.defconbot defconbot<br></div><div>tools.dexbot ghaher69<br></div><div>tools.ecmabot ecmabot-wm<br></div><div>tools.giftbot sga<br></div><div>tools.hewiki-tools webServ<br></div><div>tools.hewiki-tools webServ</div><div>tools.loltrs loltrs<br></div><div>tools.lrbot lrbot<br></div><div>tools.morebots mostbots<br></div><div>tools.morebots production-logbot</div><div>tools.phetools ws_ocr_daemon<br></div><div>tools.ralgisbot bes-zdp<br></div><div>tools.ralgisbot qes-zdp</div><div>tools.ralgisbot tes-isbn</div><div>tools.ralgisbot tes-links</div><div>tools.ralgisbot tes-links</div><div>tools.ralgisbot ves-bienv</div><div>tools.ralgisbot ves-redir</div><div>tools.ralgisbot wes-isbn</div><div>tools.ralgisbot wes-isbnanx</div><div>tools.ralgisbot wes-linksan</div><div>tools.sigma sandbot3<br></div><div>tools.tc-rc start<br></div><div>tools.theoslittlebot wpstubs<br></div><div>tools.wikihistory dewiki_update2<br></div><div>tools.wpv cmd_perl<br></div><div>tools.yifeibot rmiw.w5<br></div></div><div><br></div><div>We will try to prevent this tomorrow by taking more time to reschedule the jobs, but because we are uncertain of the underlying issue, we cannot guarantee jobs will not fail after all. In any case, we will follow up with a status report.</div><div><br></div><div>Again, sorry for the inconvenience.</div><div><br></div><div>Merlijn</div><div><br></div><div>[1] <a href="https://phabricator.wikimedia.org/T109362">https://phabricator.wikimedia.org/T109362</a></div></div>