基于 Laravel Horizon 管理队列处理器进程和伸缩策略

Created 3 years ago by 学院君, Updated 3 years ago Revision #1 2152 views 0 likes 0 collects

在上篇教程中，我们已经介绍了如何基于负载监控和伸缩队列处理器，伸缩可以细分为水平伸缩和垂直伸缩，水平伸缩指的是新增/移除处理器进程/服务器，垂直伸缩指的是新增/移除服务器上的资源。

随着应用的增长，设计高效的伸缩策略变得越来越复杂，要伸缩每小时处理成千上万任务的多个队列，需要使用多种工具对系统进行持续监控。

为了简化这个工作，Laravel 提供了 Horizon 扩展包，它有一个仪表盘用于显示实时指标，以及一个内置的自动伸缩器，支持不同的伸缩策略。

注意：Horizon 目前仅支持 Redis 队列驱动。

启动和监控 Horizon 进程

使用 Horizon 后，不需要开启多个处理器进程，只需要启动 Horizon 即可：

php artisan horizon

你仍然可以使用 Supervisor 来管理 Horizon 进程，创建一个 /etc/supervisor/conf.d/horizon.conf 配置文件：

并基于它来启动和管理 Horizon 进程即可。

开启一个 Horizon 进程即可，无需通过 numprocs 配置多个进程，它会根据系统负载管理队列处理器进程的数量。

Horizon 的基本配置

我们可以通过配置文件 config/horizon.php 来配置 Horizon：

该配置的含义是启动 10 个 queue:work 进程，来消费 deployments 和 notifications 队列的任务：

通过 Supervisor 确保 Horizon 进程一直运行，Horizon 又会确保 10 个队列处理器进程一直运行，如果其中一个进程挂了，Horizon 会自动启动它。

你可以通过修改上述配置值来配置队列处理器进程：

还可以配置多个 Horizon Supervisor：

这样的话，Horizon 会启动 7 个处理器进程消费 deployments 队列任务，每个进程超时时间 300s，3 个处理器进程消费 notifications 队列任务，每个进程超时时间 60s。

简单伸缩策略

Horizon 目前提供了两种伸缩策略支持，通过 balance 配置项配置，一种是 simple 策略：

在这种策略下，Horizon 会启动 5 个处理器进程消费 deployments 队列，5 个处理器进程消费 notifications 队列。使用 simple 策略，Horizon 会为所有队列平均分配处理器进程。

如果不能均分，会分配给优先级更高的队列更多处理器进程：

deployments 队列将分配 3 个处理器进程，notifications 队列 2 个。

自动伸缩策略

另外一种是 auto 伸缩策略：

这个功能最强大，会根据队列的繁忙程度自动分配处理器进程，与此同时，需要配置 min_processes 和 max_processes。

在上述配置中，Horizon 至少为每个队列分配 1 个处理器进程，总共是 10 个。如果 deployments 队列非常繁忙，而 notifications 是空的，则分配 9 个处理器给 deployments，1 个给 notifications。

Horizon 会根据每个队列的预期清空时间来决定要分配的处理器数量，因此，如果 deployments 中的任务需要花费更多时间处理，而 notifications 瞬间就可以完成。即使 notifications 队列有比 deployments 更多的任务，Horizon 仍然会为 deployments 队列分配更多处理器进程。