Febu 分布式爬取后台

提交 Mirakl 类目

会创建 `mirakl.category.scrape` 任务，并要求 Worker 带有 `mirakl` 标签。

创建通用任务

主人 / 业务方 tenant_id

应用 app_id

Task Type

Payload JSON

业务方只要注册相同 `task_type` 的 Worker，就能领取执行。

每台电脑测试命令

pip install requests $env:FEBU_SERVER_URL="http://149.248.6.205" $env:FEBU_API_KEY="右上角生成的 Worker API Key" $env:FEBU_WORKER_ID="pc-001" $env:FEBU_TASK_TYPES="demo.echo" $env:FEBU_TAGS="demo" python pc_worker_standalone.py

第二台电脑只改 `FEBU_WORKER_ID=pc-002`。如果是 Mirakl 机器, task_type 用 `mirakl.category.scrape`, tags 用 `mirakl,ziniao`。

Worker 列表 0

主人发任务

填写 tenant_id / app_id / task_type / payload, 或者通过 API 提交。

后台排队

PostgreSQL 保存任务, Redis 负责队列, 支持优先级和重试。

电脑领取

Worker 按 task_type 和 tags 匹配, 自动心跳和续租。

回传结果

进度实时显示, 成功写 result, 失败进重试或死信队列。

排队

运行中

成功

失败

死信

在线机器

当前分发视图

业务方数量

任务类型数量

Worker 能力

主要测试类型

demo.echo

任务 ID	主人 / 应用	类型	Payload	状态	Worker	进度	操作

Febu 分布式爬取后台

详情