<div dir="ltr"><div><div>Hi Maxime,</div><div><br></div>Looking at the error logs, it sounds like there may be a clash between celery workers of different tools. Specifically, the log shows that there is a 'celery@cycling-init-bot.worker' ready, but it's a 'celery@algo-news' worker that is using a different time zone. As the Redis server is shared, clients should use a prefix to prevent this from happening. <br><br></div><div>I'm not too familiar with Celery, but it seems the underlying code allows you to set a KEY_PREFIX through the KOMBU_REDIS_PREFIX environment variable: <a href="https://docs.celeryproject.org/projects/kombu/en/stable/_modules/kombu/transport/redis.html">https://docs.celeryproject.org/projects/kombu/en/stable/_modules/kombu/transport/redis.html</a></div><div><br></div><div>Hope this helps!</div><div>Merlijn<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, 27 Feb 2021 at 08:32, maxime delzenne <<a href="mailto:maxime.delzenne@gmail.com">maxime.delzenne@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<br><div><br></div><div>Since yesterday evening (round about 22h CET), my celery send me following error:</div><div><br></div><div>[2021-02-27 07:26:44,782: INFO/MainProcess] Connected to redis://tools-redis.svc.eqiad.wmflabs:6379/0<br>[2021-02-27 07:26:44,867: INFO/MainProcess] mingle: searching for neighbors<br>[2021-02-27 07:26:45,924: INFO/MainProcess] mingle: sync with 5 nodes<br>[2021-02-27 07:26:45,926: INFO/MainProcess] mingle: sync complete<br>[2021-02-27 07:26:45,983: INFO/MainProcess] celery@cycling-init-bot.worker-56ddc85977-9sf2v ready.<br>[2021-02-27 07:26:47,749: WARNING/MainProcess] Substantial drift from celery@algo-news.celery-6444f768f9-w89fb may mean clocks are out of sync.  Current drift is<br>3600 seconds.  [orig: 2021-02-27 07:26:47.748906 recv: 2021-02-27 08:26:47.740345]<br></div><div><br></div><div>I restarted, but no result. I use TIME_ZONE = 'UTC' in my Django settings.</div><div><br></div><div>Psemdel</div></div>
_______________________________________________<br>
Wikimedia Cloud Services mailing list<br>
<a href="mailto:Cloud@lists.wikimedia.org" target="_blank">Cloud@lists.wikimedia.org</a> (formerly <a href="mailto:labs-l@lists.wikimedia.org" target="_blank">labs-l@lists.wikimedia.org</a>)<br>
<a href="https://lists.wikimedia.org/mailman/listinfo/cloud" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/cloud</a><br>
</blockquote></div>