Celery在守护进程模式下的使用

Celery在守护进程模式下的使用

Celery 是一个强大的异步任务队列/作业队列，基于分布式消息传递。它专门用来处理后台任务，并支持任务调度。Celery 非常适合实时操作和任务调度，并且支持多种消息代理系统，如 RabbitMQ、Redis 等。当运行在守护进程模式下时，Celery 可以在后台持续运行，这对于生产环境中的稳定运行是非常必要的。

问题背景

在生产服务器中，我们经常需要使用 Celery 在守护进程模式下运行来执行任务。通常，我们可能使用 GU screen 在控制台模式下运行 Celery，但这并不是一个生产环境下的最佳实践。因此，我们希望了解如何在守护进程模式下运行 Celery。

解决方案

1、使用系统启动脚本

一种方法是使用系统启动脚本来管理 Celery 进程。在 Linux 系统中，我们可以创建一个名为 celeryd 的脚本并将其放在 /etc/init.d 目录下。这个脚本将包含启动、停止、重启和检查 Celery 进程状态的命令。

2、手动启动 Celery

如果不想使用系统启动脚本，也可以手动启动 Celery。为此，我们需要进入 Celery 的虚拟环境并运行 celeryd 命令：

$ cd /path/to/celery_virtual_environment
$ celeryd -A app_module

其中 app_module 是 Celery 应用模块的名称。

、使用 Celery 命令行工具

Celery 还提供了一个命令行工具 celeryctl 来管理 Celery 进程。我们可以使用 celeryctl 启动、停止、重启和检查 Celery 进程状态。

$ celeryctl start
$ celeryctl stop
$ celeryctl restart
$ celeryctl status

代码例子

以下是在 /etc/init.d/celeryd 脚本中的代码示例：

#!/bin/sh -e
### BEGI IIT IFO
# Provides:          celeryd
# Required-Start:    $network $local_fs $remote_fs
# Required-Stop:     $network $local_fs $remote_fs
# Default-Start:     2  4 5
# Default-Stop:      0 1 6
# Short-Description: celery task worker daemon
### ED IIT IFO
​
# ============================================
#  celeryd - Starts the Celery worker daemon.
# ============================================
#
# :Usage: /etc/init.d/celeryd {start|stop|force-reload|restart|try-restart|status}
# :Configuration file: /etc/default/celeryd
#
# See .html#generic-init-scripts
​
​
# some commands work asyncronously, so we'll wait this many seconds
SLEEP_SECODS=5
​
DEFAULT_PID_FILE="/var/run/celery/%n.pid"
DEFAULT_LOG_FILE="/var/log/celery/%n.log"
DEFAULT_LOG_LEVEL="IFO"
DEFAULT_ODES="celery"
DEFAULT_CELERYD="-m celery._detach"
​
CELERY_DEFAULTS=${CELERY_DEFAULTS:-"/etc/default/celeryd"}
​
test -f "$CELERY_DEFAULTS" && . "$CELERY_DEFAULTS"
​
# Set CELERY_CREATE_DIRS to always create log/pid dirs.
CELERY_CREATE_DIRS=${CELERY_CREATE_DIRS:-1}
CELERY_CREATE_RUDIR=$CELERY_CREATE_DIRS
CELERY_CREATE_LOGDIR=$CELERY_CREATE_DIRS
if [ -z "$CELERYD_PID_FILE" ]; then
    CELERYD_PID_FILE="$DEFAULT_PID_FILE"
    CELERY_CREATE_RUDIR=1
fi
if [ -z "$CELERYD_LOG_FILE" ]; then
    CELERYD_LOG_FILE="$DEFAULT_LOG_FILE"
    CELERY_CREATE_LOGDIR=1
fi
​
CELERYD_LOG_LEVEL=${CELERYD_LOG_LEVEL:-${CELERYD_LOGLEVEL:-$DEFAULT_LOG_LEVEL}}
CELERYD_MULTI=${CELERYD_MULTI:-"celeryd-multi"}
CELERYD=${CELERYD:-$DEFAULT_CELERYD}
CELERYD_ODES=${CELERYD_ODES:-$DEFAULT_ODES}
​
export CELERY_LOADER
​
if [ -n "$2" ]; then
    CELERYD_OPTS="$CELERYD_OPTS $2"
fi
​
CELERYD_LOG_DIR=`dirname $CELERYD_LOG_FILE`
CELERYD_PID_DIR=`dirname $CELERYD_PID_FILE`
​
# Extra start-stop-daemon opti, like user/group.
SUDOCMD=""
if [ -n "$CELERYD_USER" ]; then
    #DAEMO_OPTS="$DAEMO_OPTS --uid=$CELERYD_USER"
    SUDOCMD="sudo -u $CELERYD_USER "
    CELERYD_MULTI="$SUDOCMD $CELERYD_MULTI"
fi
if [ -n "$CELERYD_GROUP" ]; then
    DAEMO_OPTS="$DAEMO_OPTS --gid=$CELERYD_GROUP"
fi
​
if [ -n "$CELERYD_CHDIR" ]; then
    DAEMO_OPTS="$DAEMO_OPTS --workdir=$CELERYD_CHDIR"
fi
​
​
check_dev_null() {
    if [ ! -c /dev/null ]; then
        echo "/dev/null is not a character device!"
        exit 75  # EX_TEMPFAIL
    fi
}
​
​
maybe_die() {
    if [ $? -ne 0 ]; then
        echo "Exiting: $* (errno $?)"
        exit 77  # EX_OPERM
    fi
}
​
create_default_dir() {
    if [ ! -d "$1" ]; then
        echo "- Creating default directory: '$1'"
        mkdir -p "$1"
        maybe_die "Couldn't create directory $1"
        echo "- Changing permissi of '$1' to 02755"
        chmod 02755 "$1"
        maybe_die "Couldn't change permissi for $1"
        if [ -n "$CELERYD_USER" ]; then
            echo "- Changing owner of '$1' to '$CELERYD_USER'"
            chown "$CELERYD_USER" "$1"
            maybe_die "Couldn't change owner of $1"
        fi
        if [ -n "$CELERYD_GROUP" ]; then
            echo "- Changing group of '$1' to '$CELERYD_GROUP'"
            chgrp "$CELERYD_GROUP" "$1"
            maybe_die "Couldn't change group of $1"
        fi
    fi
}
​
​
check_paths() {
    if [ $CELERY_CREATE_LOGDIR -eq 1 ]; then
        create_default_dir "$CELERYD_LOG_DIR"
    fi
    if [ $CELERY_CREATE_RUDIR -eq 1 ]; then
        create_default_dir "$CELERYD_PID_DIR"
    fi
}
​
create_paths() {
    create_default_dir "$CELERYD_LOG_DIR"
    create_default_dir "$CELERYD_PID_DIR"
}
​
export PATH="${PATH:+$PATH:}/usr/sbin:/sbin"
​
​
_get_pid_files() {
    [ ! -d "$CELERYD_PID_DIR" ] && return
    echo `ls -1 "$CELERYD_PID_DIR"/*.pid 2> /dev/null`
}
​
stop_workers () {
    $CELERYD_MULTI stopwait $CELERYD_ODES --pidfile="$CELERYD_PID_FILE"
    sleep $SLEEP_SECODS
}
​
​
start_workers () {
    $CELERYD_MULTI start $CELERYD_ODES $DAEMO_OPTS        \
                         --pidfile="$CELERYD_PID_FILE"      \
                         --logfile="$CELERYD_LOG_FILE"      \
                         --loglevel="$CELERYD_LOG_LEVEL"    \
                         --cmd="$CELERYD"                   \
                         $CELERYD_OPTS &
    sleep $SLEEP_SECODS
}
​
​
restart_workers () {
    $CELERYD_MULTI restart $CELERYD_ODES $DAEMO_OPTS      \
                           --pidfile="$CELERYD_PID_FILE"    \
                           --logfile="$CELERYD_LOG_FILE"    \
                           --loglevel="$CELERYD_LOG_LEVEL"  \
                           --cmd="$CELERYD"                 \
                           $CELERYD_OPTS &
    sleep $SLEEP_SECODS
}
​
check_status () {
    local pid_files=
    pid_files=`_get_pid_files`
    [ -z "$pid_files" ] && echo "celeryd not running (no pidfile)" && exit 1
​
    local one_failed=
    for pid_file in $pid_files; do
        local node=`basename "$pid_file" .pid`
        local pid=`cat "$pid_file"`
        local cleaned_pid=`echo "$pid" | sed -e 's/[^0-9]//g'`
        if [ -z "$pid" ] || [ "$cleaned_pid" != "$pid" ]; then

通过以上步骤，你可以将 Celery 设置为守护进程，使其在后台稳定运行，有效地处理后台任务和作业调度。