weiwu

V1

2022/05/08阅读:22主题:默认主题

测试

环境依赖

windows7 windows10 windows11

V1.0.0 版本内容更新:

(1)将sql文件上传到mysql上,增加了配置的sql结构文件,可随意更改mysql存储的位置和表名,工具必须对应sql内的结构。
    修改根目录下./config/conig.ini文件,对应的数据库及表名,保存即重启软件。
(2)可添加代理访问,及是否使用代理爬取。
    修改根目录下.config/conig.ini文件,保存即重启软件。
(3)整体页面排版设计,以及思路。
    设计参考对象:后裔采集器。
(4)增加软件使用的安全性问题。
(5)全新的排版界面和嵌入游览器驱动。
(6)加入线程池加快爬取响应。
(7)继承之前工具的所有功能。
(8)支持拖拽自适应控件放大或缩小。
(9)增加采集到的数据字段,写入对应的表格字段内。

预留待开发部分(不影响常规使用):

(1)预留快速获取下一个任务按钮,后端功能待开发。
(2)嵌入算法自动生成正则,列表/详情页识别问题。
(3)预留了电子报采集的整体前端界面,电子报采集部分。
(4)解决支持Js渲染采集,以及ajax请求,自动滚动采集。
(5)菜单栏部分功能。
(6)搜索引擎集合采集。

工具整体展示如下:

img.png
img.png

分类:

后端

标签:

Python

作者介绍

weiwu
V1