Boris

V1

2022/10/12阅读:24主题:红绯

feaplat介绍

大更新-爬虫管理系统|FEAPLAT强势来袭

今天给大家推荐一款贼好用的爬虫管理系统,feaplat,读音: [ˈfiːplæt]

该爬虫管理系统为feapder爬虫框架作者倾力打造,结合多年爬虫经验及业务需求而生,使用简单,功能实用。且可免费使用,欢迎尝试!

特性

  1. 支持部署任何程序,包括不限于feapderscrapy
  2. 支持集群管理,部署分布式爬虫可一键扩展进程数
  3. 支持部署服务,且可自动实现服务负载均衡
  4. 支持程序异常报警、重启、保活
  5. 支持监控,监控内容可自定义
  6. 支持4种定时调度模式
  7. 自动从git仓库拉取最新的代码运行,支持指定分支
  8. 支持多人协同
  9. 支持浏览器渲染,支持有头模式。浏览器支持playwrightselenium
  10. 支持弹性伸缩
  11. 支持自定义worker镜像,如自定义java的运行环境、node运行环境等,即根据自己的需求自定义(feaplat分为master-调度端worker-运行任务端
  12. docker一键部署,架设在docker swarm集群上

功能概览

1. 项目管理

添加/编辑项目

  • 支持 git和zip两种方式上传项目
  • 根据requirements.txt自动安装依赖包
  • 可选择多个人参与项目

2. 任务管理

  • 支持一键启动多个任务实例(分布式爬虫场景或者需要启动多个进程的场景)
  • 支持4种调度模式
  • 标签:给任务分类使用
  • 强制运行:(上一次任务没结束,本次是否运行,是则会停止上一次任务,然后运行本次调度)
  • 异常重启:当部署的程序异常退出,是否自动重启,且会报警
  • 支持限制程序运行的CPU、内存等。

3. 任务实例

一键部署了20份程序,每个程序独占一个进程,可从列表看每个进程部署到哪台服务器上了,运行状态是什么

实时查看日志

4. 爬虫监控

可自定义监控面板内容

5. 报警

调度异常、程序异常自动报警 支持钉钉、企业微信、飞书、邮箱

为什么用feaplat爬虫管理系统

稳!很稳!!相当稳!!!

市面上的爬虫管理系统

feapderd
feapderd

worker节点常驻,且运行多个任务,不能弹性伸缩,任务之前会相互影响,稳定性得不到保障

feaplat爬虫管理系统

pic
pic

worker节点根据任务动态生成,一个worker只运行一个任务实例,任务做完worker销毁,稳定性高;多个服务器间自动均衡分配,弹性伸缩

了解更多:https://feapder.com/#/feapder_platform/feaplat

分类:

后端

标签:

Python

作者介绍

Boris
V1