laravel實現隊列 Detail - laravel,php,隊列,supervisor huaweichenai Blog

一：隊列配置

隊列的配置文件放置在config/queue.php文件中，laravel框架中支持的隊列驅動有：sync, database, beanstalkd, sqs, redis,null對應着：同步（本地使用）驅動，數據庫驅動，beanstalkd ,Amazon SQS ,redis,null 隊列驅動用於那些放棄隊列的任務

1：隊列相關配置

(1)：隊列驅動配置

'default' => env('QUEUE_DRIVER', 'sync'),//隊列驅動設置

(2)：不同驅動相關配置

'connections' => [
    ////syns驅動配置
    'sync' => [
        'driver' => 'sync',
    ],
    ////數據庫驅動配置
    'database' => [
        'driver' => 'database',
        'table' => 'jobs',//數據庫驅動配置使用的數據庫
        'queue' => 'default',
        'retry_after' => 90,//指定了任務最多處理多少秒後就被當做失敗重試,比如説，如果這個選項設置為 90，那麼當這個任務持續執行了 90 秒而沒有被刪除，那麼它將被釋放回隊列
    ],
    //beanstalkd驅動配置
    'beanstalkd' => [
        'driver' => 'beanstalkd',
        'host' => 'localhost',//使用beanstalkd驅動地址
        'queue' => 'default',
        'retry_after' => 90,//指定了任務最多處理多少秒後就被當做失敗重試,比如説，如果這個選項設置為 90，那麼當這個任務持續執行了 90 秒而沒有被刪除，那麼它將被釋放回隊列
        'block_for' => 0,
    ],
    //sqs驅動配置
    'sqs' => [
        'driver' => 'sqs',
        'key' => env('AWS_ACCESS_KEY_ID'),
        'secret' => env('AWS_SECRET_ACCESS_KEY'),
        'prefix' => env('SQS_PREFIX', 'https://sqs.us-east-1.amazonaws.com/your-account-id'),
        'queue' => env('SQS_QUEUE', 'your-queue-name'),
        'region' => env('AWS_DEFAULT_REGION', 'us-east-1'),
    ],
    //redis驅動配置
    'redis' => [
        'driver' => 'redis',
        'connection' => 'default',//使用哪個連接的redis,redis配置是在config/database.php文件中
        'queue' => env('REDIS_QUEUE', 'default'),
        'retry_after' => 90,
        'block_for' => null,
    ],

],

2：不同隊列依賴

(1)：數據庫驅動

使用數據庫驅動需要生成一個隊列驅動表

php artisan queue:table
php artisan migrate

執行上面的命令之後會發現數據庫中會增加一個jobs表

(2)：redis驅動

使用redis驅動需要安裝一個predis/predis 拓展

composer require predis/predis

(3)：Amazon SQS驅動

使用Amazon SQS驅動時需要安裝aws/aws-sdk-php拓展

composer require aws/aws-sdk-php

(4)：Beanstalkd驅動

使用Beanstalkd驅動需要安裝pda/pheanstalk拓展

composer require pda/pheanstalk

二：創建隊列任務

php artisan make:job TestJobs

執行上面的命令創建一個隊列任務類，這時候會發現在app/jobs目錄下生成一個TestJobs.php文件

簡單的隊列任務類實例：

<?php
namespace App\Jobs;
use App\Models\blog\User;
use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
class TestJobs implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
    /**
     * 任務最大嘗試次數。
     *
     * @var int
     */
    public $tries = 5;
    /**
     * 任務運行的超時時間。
     * 指定了 Laravel 隊列處理器最多執行多長時間後就應該被關閉掉
     * --timeout 應該永遠都要比 retry_after 短至少幾秒鐘的時間。這樣就能保證任務進程總能在失敗重試前就被殺死了。
     * 如果你的 --timeout 選項大於 retry_after 配置選項，你的任務可能被執行兩次
     *
     * @var int
     */
    public $timeout = 120;
    public $info;
    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct($info)
    {
        //
        $this->info = $info;
    }
    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        //
        $user = new User();
        $user->user_no = $this->info['user_no'];
        $user->user_name = $this->info['user_name'];
        $user->save();
    }
}

三：任務分發

1：默認分發

$info = [
    'user_no'=>'006',
    'user_name'=>'testName'
];
TestJobs::dispatch($info);

2：延時分發

TestJobs::dispatch($info)->delay(Carbon::now()->addMinutes(10));//表示延時十分鐘分發任務

3：指定隊列分發

TestJobs::dispatch($info)->onQueue('processing');//表示使用默認驅動的processing隊列

4：指定驅動分發

TestJobs::dispatch($info)->onConnection('redis');//使用redis驅動的默認隊列

5：指定驅動和隊列分發

TestJobs::dispatch($info)->onConnection('redis')->onQueue('processing');//使用redis驅動的processing隊列

四：任務處理

php artisan queue:work

執行後我們會發現user表中發現多了一條user_no為006，user_name為testName數據，但是如果你指定了驅動和隊列的話，這時候執行php artisan queue:work，你就會發現數據庫中沒有數據加進去，這是因為php artisan queue:work命令是對默認驅動和'default'隊列監聽，這時候就要使用：

php artisan queue:work redis --queue="processing"  //redis表示指定驅動 processing表示指定隊列

五：失敗任務處理

php artisan queue:failed-table
php artisan migrate

執行上面命令後會在數據庫中增加一張failed_jobs表，專門用於存儲失敗的任務信息，在TestJobs類中添加一個failed方法處理失敗隊列

/**
 * 要處理的失敗任務。
 *
 * @param  Exception  $exception
 * @return void
 */
public function failed(Exception $exception)
{
    // 給用户發送失敗通知，等等...
}

如果你想要註冊一個只要當隊列任務失敗時就會被調用的事件，我們可以在 Laravel 的 app/Providers/AppServiceProvider.php文件中對這個事件附加一個回調函數即可

/**
 * 啓動任意應用程序的服務。
 *
 * @return void
 */
public function boot()
{
    Queue::failing(function (JobFailed $event) {
        // $event->connectionName
        // $event->job
        // $event->exception
    });
}

六：使用Supervisor管理隊列

一旦使用queue:work 命令，它將一直運行，直到你手動停止或者你關閉控制枱，如果你想要讓queue:work 命令永久在後台運行，這時候可以使用進程監控工具Supervisor來實現永久在後台運行

1：Supervisor安裝

Supervisor安裝可以參考：https://segmentfault.com/a/11...

2：配置Supervisor

(1)：配置supervisord.conf

在/etc/supervisord.conf文件的最後一行增加

files = supervisord.d/*.ini

(2)：隊列進程配置

在/etc/supervisord.d/目錄下創建一個.ini文件

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /home/forge/app.com/artisan queue:work database --sleep=3 --tries=3  #/home/forge/app.com為項目地址
autostart=true
autorestart=true
user=forge
numprocs=8 #numprocs 命令會要求 Supervisor 運行並監控 8 個 queue:work 進程
redirect_stderr=true
stdout_logfile=/home/forge/app.com/worker.log

3：啓動Supervisor

systemctl start supervisord.service
supervisorctl update
supervisorctl reload
supervisorctl start laravel-worker

huaweichenai Blog

@huaweichenai

Tags

數據庫 (310)

MySQL (192)

php (185)

redis (93)

Git (53)

laravel (28)

yii (26)

tcp (25)

cookie (24)

隊列 (24)

mysql優化 (24)

rabbitmq (20)

Stories

laravel實現隊列 - Stories Detail