使用PYTHON语言,用到的外部包有pasel, requests。
逻辑:首先得到该小说所有章节地址,再使用多线程访问链接,得到的内容放入object列表中,最后写入本地文件。
功能:设置菜单,由此可以选择不同的小说站点;写入本地时会在命令行打印所有章节名称;高速爬取小说。
注意:1,爬取时没有提示,但写入本地时会显示章节名称;2,测试用的小说站点已清除,在具体使用时,需要自己修改部分代码,其中用注释(需要手动修改)标明。
```
1 import requests
2 import parsel
3 import threading
4 import re
5
6 # 常量区
7 ## 网页标签xpath,主域名
8 N_NAME = '.read h3::text'
9 N_TITLE = '.title::text'
10 N_CONTENT = '.text::text'
11 # 站点域名, 需要手动修改