Python requests, pasel多线程爬取并下载小说

Java49

使用PYTHON语言,用到的外部包有pasel, requests。

逻辑:首先得到该小说所有章节地址,再使用多线程访问链接,得到的内容放入object列表中,最后写入本地文件。

功能:设置菜单,由此可以选择不同的小说站点;写入本地时会在命令行打印所有章节名称;高速爬取小说。

注意:1,爬取时没有提示,但写入本地时会显示章节名称;2,测试用的小说站点已清除,在具体使用时,需要自己修改部分代码,其中用注释(需要手动修改)标明。

```
1 import requests
2 import parsel
3 import threading
4 import re
5
6 # 常量区
7 ## 网页标签xpath,主域名
8 N_NAME = '.read h3::text'
9 N_TITLE = '.title::text'
10 N_CONTENT = '.text::text'
11 # 站点域名, 需要手动修改

输入验证码查看隐藏内容

扫描二维码关注本站微信公众号 Johngo学长
或者在微信里搜索 Johngo学长
回复 svip 获取验证码
wechat Johngo学长