开源项目

crwy

Crwy是一个轻量级的爬虫抓取框架,参考Scrapy框架结构开发而来,并为scrapy使用者提供通用轮子^.^。该框架提供了实用的爬虫模板,旨在帮助大家快速实现爬虫任务,高效开发。新增了gevent,使爬虫异步执行,速度更快。

说明文档 | 项目地址

rest_backend

基于 python3.6 django2.1的后台模板,依赖djangorestframework/suit,并集成django-rest-swagger方便进行api调试,可通过docker-compose实现一步上线。

说明文档 | 项目地址

focusLogin

集中登录管理系统,通过django后台添加站点登录信息,利用electron实现对账号的统一半自动化登录,为爬虫项目提供可用cookie。

说明文档 | 项目地址