Bella-Queue 是专为AI应用场景设计的高性能任务队列处理引擎，致力于为开发者提供更可靠、高效、易用的AI任务处理能力。

系统采用现代化微服务架构设计，构建了一套功能完备的任务调度系统，支持Batch API和Task API两种处理模式。不仅提供了强大的任务生命周期管理能力，还支持多种响应模式和智能队列策略，能够灵活应对从小规模实时处理到大规模批量处理的各种业务场景。

无论是需要高并发实时响应的在线服务，还是需要大规模批量处理的离线任务，Bella-Queue都能提供稳定可靠的解决方案，让AI应用开发变得更加简单高效。

Batch API专为大规模AI任务批量处理而设计，适用于需要处理大量数据但对实时性要求不高的场景，如批量内容生成、模型评估、数据分析等。通过将多个请求打包成批次处理，可以显著降低成本并提高处理效率。

• 完全兼容OpenAI协议: 100%兼容OpenAI Batch API标准，无缝迁移现有应用
• 大规模任务处理: 单次Batch API支持最多50,000个任务，文件大小最大100MB
• 异步处理: 后台处理，不阻塞用户操作，支持24小时完成窗口配置
• 进度跟踪: 实时处理进度更新
• 任务取消: 支持主动取消未完成的批处理任务，已完成部分结果仍可获取
• 结果下载: 完成后自动生成输出文件和错误文件，支持通过file-api下载

Task API专为单个AI任务实时处理而设计 ，适用于需要快速响应和实时交互的场景，如在线客服、实时对话、即时内容生成等。支持单任务提交和处理，提供多种响应模式，满足不同实时性要求的业务需求。

• 多种响应模式:
  • callback: 异步回调模式，任务完成后HTTP回调通知，适合长时间运行的任务
  • blocking: 同步阻塞模式，实时返回结果，默认超时300秒，适合快速响应场景
  • streaming: 流式响应模式，支持SSE实时流式响应，适合需要实时反馈的场景

• 智能队列策略:

  • fifo: 先进先出，按任务入队时间顺序处理，保证处理顺序
  • round_robin: 轮询调度，在多个队列间轮流拉取任务，平均分配任务负载
  • active_passive: 主备模式，优先拉取主队列任务，主队列无任务时拉取备队列任务
  • sequential: 全局顺序模式，确保每个队列同一时间只运行一个任务，保证任务执行的全局顺序性

• 队列管理能力:

  • 优先级支持: 支持0-N级队列优先级，数值越小优先级越高（0为在线，1+为离线）
  • 动态注册: 支持动态注册新队列，灵活扩展业务场景

前置条件:

• Docker 已安装并运行
• docker-compose 已安装
• 至少 4GB 可用内存
• 必须部署 bella-openapi 项目并确保其正常运行

一键启动 (推荐):

# 克隆代码
git clone https://github.com/LianjiaTech/bella-queue.git
cd bella-queue/api/deploy/docker

# 一键启动完整服务栈
./start.sh \
  --bella-openapi-host https://your-bella-openapi-service.com \
  --bella-openapi-key your_bella_openapi_secret_key

说明:

• --bella-openapi-host 和 --bella-openapi-key 为必需参数
• 首次启动会自动构建应用镜像
• 启动成功后健康检查: http://localhost:8080/actuator/health

更详细部署指南和参数配置，请参考 部署指南 。

A: 根据业务场景选择：

• Batch API：大量任务、非实时、降低成本 → 批量内容生成、模型评估
• Task API：单个任务、实时响应、灵活交互 → 在线客服、实时对话

A: 支持万级并发，具体取决于硬件配置和Worker节点数量。

我们热心欢迎社区贡献！贡献者需要同意项目维护者可根据需要调整开源协议，以及贡献代码可能被用于商业目的。

详细的贡献指南请参考 贡献指南 。

Bella-Queue 采用 MIT 许可协议，支持商业使用：

Bella-Queue 基于 MIT 许可协议开源，允许商业使用。详细条款请参阅 LICENSE 文件。