疏夜星稀


luxuncang's blog

Lupro

lupro 爬虫框架

lupro是一个完全兼容requests的异步爬虫框架

安装 Lupro

使用 PyPi 安装 Lupro

  • pip Find, install and publish Python packages with the Python Package Index
  • pip install lupro

开始使用

  1. 导入 from lupro import lupro

兼容requests

1
from lupro import lupro as requests

这样即可不用修改代码完全替换 requests

原生lupro

1
2
3
from lupro import lupro
r = lupro.get('https://www.python.org')
r.status_code

批量异步任务

1
2
3
4
5
6
7
8
9
10
11
12
13
from lupro import lupro,lupros,generator,Batchsubmission

# 请求列表
url = ['https://www.python.org','https://www.baidu.com']

# 实例化模板
r = lupro('test',lupros.get(''))

# lupro 生成器
lu = generator(r, url)

# 批量任务
Batchsubmission(lu)

特性

  • 完全继承requests
  • 异步特性
  • lupro生成器
  • 自动编码修正
  • 解析器与解析链
  • 选择器与选择链
  • 下载器
  • 请求头生成器
  • 交互式
  • 微服务

api 文档

完善中