流程：
迭代进行：种子url->Element遍历获取超链接lin->作为新种子id
⚠️注意频率和遍历深度
1.设定url及请求参数
headers = {"user-agent": "Baiduspider"}base_url = "https://www.zhihu.com"suffix = "/explore"entry_url = base_url + suffix
2.读取请求返回结果，及解析
```
response = requests.get(entry_url, headers=headers).textsoup = bs4.BeautifulSoup(response, "lxml")page_set = soup.find_all("a")
相关文章
Discuz论坛 自动加好友留言程序
这次不同，想要在论坛发消息首先是要登录的，所以必须要一个账号，接着是让爬虫登录，这是最重要的一个步骤，登录后获取Cookie存储，在加好友发消息的时候都要用到Cookie。 在开发过程中，遇到了不少难...
Java（4）字符串
从概念上讲，Java字符串就是 Unicode字符序列。例如，字符串 "Java\u2122"由5个 Unicode字符 J、 a、 v、 a和 ™组成。Java没有内置的字符串...
RabbitMQ 工作队列
每日一句 如果你执意追逐我的幻影，迟早会被真正的我打败。 https://www.ylcoder.top/post/1649241412 概述 工作队列（也称为任务队列）的主要思想是避免立即执行资源密...
商贸型企业 Java 收货 + 入库 + 生成付款单
```java;gutter:true; package cn.hybn.erp.modular.system.service.impl; import cn.hybn.erp.core.common...
java的collection类
collection来源于java.util包。 Collection 接口常用的方法 size():返回集合中元素的个数 add(Object obj):向集合中添加一个元素 addAll(Coll...
Spring Tool 4 安装 Thymeleaf 3.0 插件
参考资料 说在前面 最小要求 步骤 1.下载 Spring Tool 4.7.1 2.下载 thymeleaf 的 eclipse 插件 2.打开 STS - Help - Install New S...
SpringBoot自定义环境变量——EnvironmentPostProcessor
现有需求是将数据库配置文件中账号密码相关信息分离且加密，用到了SpringBoot中 EnvironmentPostProcessor接口。可以将外部配置文件读取注入系统中。 实现 Environme...
Python requests, pasel多线程爬取并下载小说
使用PYTHON语言，用到的外部包有pasel, requests。 逻辑：首先得到该小说所有章节地址，再使用多线程访问链接，得到的内容放入object列表中，最后写入本地文件。 功能：设置菜单，由此...
Redis的字符串底层是啥？为了速度和安全做了啥？
面试官：Redis有哪些数据类型？ 我：String，List，set，zset，hash 面试官：没了？ 我：哦哦哦，还有HyperLogLog，bitMap，GeoHash，BloomFilter...
spring上传文件
本文将说明spring上传文件如何配置，以及从request请求中解析到文件流的原理 #添加依赖 主要用来解析request请求流，获取文件字段名、上传文件名、content-type、headers...
AQS学习（一）自旋锁原理介绍(为什么AQS底层使用自旋锁队列?)
1.什么是自旋锁？ 作为锁的一种，自旋锁和互斥一样，也是并发环境中保护共享资源的一种锁机制。任何时候，只有一个执行单元可以获得锁。[En]As a kind of lock, spin lock, l...
SpringCloud微服务实战——搭建企业级开发框架（三十二）：代码生成器使用配置说明
一、新建数据源配置 考虑到多个数据源的问题，代码生成器作为一个通用模块，可能会在以后为其他项目生成代码，所以它不直接读取系统工程配置的数据源，而是允许用户对其进行维护。[En]Taking into ...
GitStats-统计Git所有提交记录工具
如果你是研发效能组的一员或者在从事 CI/CD 或 DevOps，除了提供基础设施，指标和数据是也是一个很重要的一环，比如需要分析下某个 Git 仓库代码提交情况： 该仓库的代码谁提交的代码最多 该仓...