疏夜星稀


luxuncang's blog

Lupro

  • 2021-07-14
  • 作者 ShengXin Lu
  • 733 字
  1. 1. lupro 爬虫框架
    1. 1.1. 安装 Lupro
      1. 1.1.1. 使用 PyPi 安装 Lupro
    2. 1.2. 开始使用
      1. 1.2.1. 兼容requests
      2. 1.2.2. 原生lupro
      3. 1.2.3. 批量异步任务
    3. 1.3. 特性
    4. 1.4. api 文档

lupro 爬虫框架

lupro是一个完全兼容requests的异步爬虫框架

安装 Lupro

使用 PyPi 安装 Lupro

  • pip Find, install and publish Python packages with the Python Package Index
  • pip install lupro

开始使用

  1. 导入 from lupro import lupro

兼容requests

1
from lupro import lupro as requests

这样即可不用修改代码完全替换 requests

原生lupro

1
2
3
from lupro import lupro
r = lupro.get('https://www.python.org')
r.status_code

批量异步任务

1
2
3
4
5
6
7
8
9
10
11
12
13
from lupro import lupro,lupros,generator,Batchsubmission

# 请求列表
url = ['https://www.python.org','https://www.baidu.com']

# 实例化模板
r = lupro('test',lupros.get(''))

# lupro 生成器
lu = generator(r, url)

# 批量任务
Batchsubmission(lu)

特性

  • 完全继承requests
  • 异步特性
  • lupro生成器
  • 自动编码修正
  • 解析器与解析链
  • 选择器与选择链
  • 下载器
  • 请求头生成器
  • 交互式
  • 微服务

api 文档

完善中

本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可
,
最后编辑：2021-07-14