在运行任务之前，如何设置Celery以调用自定义初始化函数？

Question

我有一个Django项目，我正在尝试使用Celery提交任务进行后台处理（http://ask.github.com/celery/introduction.html）。Celery与Django集成良好，我已经能够提交自定义任务并获得结果。

唯一的问题是，我找不到在守护进程中执行自定义初始化的理智方法。在开始处理任务之前，我需要调用一个昂贵的函数，该函数会加载大量内存，而且我无力每次都调用该函数。

有人遇到过这个问题吗？有什么想法如何解决它而不修改Celery源代码？

谢谢

Answer 1

您可以编写自定义加载程序，也可以使用信号。

加载程序具有该on_task_init方法，该方法将在要执行任务时调用，该方法on_worker_init由celery +
celerybeat主进程调用。

使用信号可能是最简单的，可用的信号是：

0.8.x：

• task_prerun(task_id, task, args, kwargs)

在工作人员即将执行任务时（或在使用apply/或CELERY_ALWAYS_EAGER已设置的情况下，在本地）执行任务时调度。

• task_postrun(task_id, task, args, kwargs, retval) 在与上述相同的条件下执行任务后调度。

• task_sent(task_id, task, args, kwargs, eta, taskset)

应用任务时调用（不适用于长时间运行的操作）

0.9.x中可用的其他信号（github上的当前主分支）：

• worker_init()

在celeryd启动时调用（在初始化任务之前，因此，如果在支持的系统上fork，则任何内存更改都将复制到子worker进程）。

• worker_ready()

在celeryd能够接收任务时调用。

• worker_shutdown()

在celeryd关闭时调用。

这是一个示例，该示例在流程中第一次运行任务时进行预先计算：

from celery.task import Task
from celery.registry import tasks
from celery.signals import task_prerun

_precalc_table = {}

class PowersOfTwo(Task):

    def run(self, x):
        if x in _precalc_table:
            return _precalc_table[x]
        else:
            return x ** 2
tasks.register(PowersOfTwo)


def _precalc_numbers(**kwargs):
    if not _precalc_table: # it's empty, so haven't been generated yet
        for i in range(1024):
            _precalc_table[i] = i ** 2


# need to use registered instance for sender argument.
task_prerun.connect(_precalc_numbers, sender=tasks[PowerOfTwo.name])

如果要对所有任务运行该函数，只需跳过sender参数。