Boris
V1
2022/10/12阅读:51主题:红绯
feaplat介绍
大更新-爬虫管理系统|FEAPLAT强势来袭
今天给大家推荐一款贼好用的爬虫管理系统,feaplat,读音: [ˈfiːplæt]
该爬虫管理系统为feapder爬虫框架作者倾力打造,结合多年爬虫经验及业务需求而生,使用简单,功能实用。且可免费使用,欢迎尝试!
特性
-
支持部署任何程序,包括不限于 feapder
、scrapy
-
支持集群管理,部署分布式爬虫可一键扩展进程数 -
支持部署服务,且可自动实现服务负载均衡 -
支持程序异常报警、重启、保活 -
支持监控,监控内容可自定义 -
支持4种定时调度模式 -
自动从git仓库拉取最新的代码运行,支持指定分支 -
支持多人协同 -
支持浏览器渲染,支持有头模式。浏览器支持 playwright
、selenium
-
支持弹性伸缩 -
支持自定义worker镜像,如自定义java的运行环境、node运行环境等,即根据自己的需求自定义(feaplat分为 master-调度端
和worker-运行任务端
) -
docker一键部署,架设在docker swarm集群上
功能概览
1. 项目管理
添加/编辑项目
-
支持 git和zip两种方式上传项目 -
根据requirements.txt自动安装依赖包 -
可选择多个人参与项目
2. 任务管理
-
支持一键启动多个任务实例(分布式爬虫场景或者需要启动多个进程的场景) -
支持4种调度模式 -
标签:给任务分类使用 -
强制运行:(上一次任务没结束,本次是否运行,是则会停止上一次任务,然后运行本次调度) -
异常重启:当部署的程序异常退出,是否自动重启,且会报警 -
支持限制程序运行的CPU、内存等。
3. 任务实例
一键部署了20份程序,每个程序独占一个进程,可从列表看每个进程部署到哪台服务器上了,运行状态是什么
实时查看日志
4. 爬虫监控
可自定义监控面板内容
5. 报警
调度异常、程序异常自动报警 支持钉钉、企业微信、飞书、邮箱
为什么用feaplat爬虫管理系统
稳!很稳!!相当稳!!!
市面上的爬虫管理系统
worker节点常驻,且运行多个任务,不能弹性伸缩,任务之前会相互影响,稳定性得不到保障
feaplat爬虫管理系统
worker节点根据任务动态生成,一个worker只运行一个任务实例,任务做完worker销毁,稳定性高;多个服务器间自动均衡分配,弹性伸缩
了解更多:https://feapder.com/#/feapder_platform/feaplat
作者介绍
Boris
V1