手把手带你进入爬虫的世界，打好基础，走的更远

Python60

您好，我是码农飞哥，感谢您阅读本文，欢迎一键三连哦。
本文是爬虫专栏的第一篇，重点介绍爬虫的基本概念，提供一个爬虫的标准步骤。
干货满满，建议收藏，需要用到时常看看。 小伙伴们如有问题及需要，欢迎踊跃留言哦~ ~ ~。

前言（为什么写这篇文章）

本文是爬虫专栏的第一篇，这里默认你已经掌握了Python的基础。如果您还没来得及看Python基础的话，请你抽出时间看下【Python从入门到精通】（二十八）五万六千字对Python基础知识做一个了结吧！【值得收藏】
本文主要解答如下几个问题：

  1. 什么是爬虫？
  2. 为什么要学爬虫？
  3. 怎么进行爬虫？

最后会展示一个简单的爬虫的实例教大家加深印象。

什么是爬虫

爬虫顾名思义就是通过技术手段获取网站上的公开数据，并将这些非结构化的数据解析成结构化的数据保存起来。
举个🌰 打开码农飞哥的博客主页 可以看到如图1的结果:

手把手带你进入爬虫的世界，打好基础，走的更远
如果我们想将图中文章的标题，简介拉取到本地并保存下来本地就需要用到爬虫技术。

为什么要学爬虫

网络上有海量的公开数据，比如我们每天看到的各种新闻数据，看到的各种学习博客都是公开的，可以获取的数据， 如果将这些数据爬取下来进行数据分析就可以对构建用户画像，从而对每个用户进行个性化的推荐。今日某条早期就是一个通过爬虫程序获取其他网站的新闻数据，从而获取海量数据的。
总之，爬虫很有用，用处大大的。
其实很多语言都可以实现编写爬虫程序，比如Java，php，Python，但是我们这里选择Python语言作为爬虫的首选语言是因为

语言 优势 缺点 Java 语言强大，支持复杂的爬虫场景，并发性能强 ，生态完善 代码臃肿，需要编写很多代码 php 语法简单，可以直接操作页面，生态不好 复杂的场景不支持 Python 语法简单，编写代码少，生态完善，支持复杂的爬虫场景 暂时没发现

综上所述就选择用Python编写爬虫程序。

学习爬虫所需要的预备知识

会利用浏览器查看网页

我们都知道网页是通过超文本标记语言Html语言渲染出来的，Html通过一系列的标签和样式将网页内容渲染出来。但是这些这些标签是我们爬虫不需要的， 所以我们首先需要找到我们想要爬取的内容在哪个标签里从而进行爬虫。 这里用Chrom浏览器做一个说明。

  1. 选中网页---》右键---》检查 即可调出Chrome的调试窗口，如下图2所示。
    手把手带你进入爬虫的世界，打好基础，走的更远
    其中：
    手把手带你进入爬虫的世界，打好基础，走的更远
    这个图标，然后将焦点放在你需要查看的文本处就可以查看文本在哪个标签中了，就像下图3所示：
    手把手带你进入爬虫的世界，打好基础，走的更远
    这里我们的文章标题被保存到了 标签中，文章摘要被保存在了 <span></span> 标签中。

    • Console 模块是控制台窗口，可以在该窗口下编写一些简单的代码并查看输出结果，就像下面比较a和b的大小
      手把手带你进入爬虫的世界，打好基础，走的更远

  2. Sources 模块展示了该页面所涉及的所有源代码文件。包括了html文件，js文件以及css文件等等，我们可以在该窗口进行调试。
    手把手带你进入爬虫的世界，打好基础，走的更远

  3. Network 模块展示了页面的所有请求，包括数据的请求，图片的请求等等，选中其中一个请求就可以看到该请求的详细信息，包括请求头，响应头，响应结果等等。
    手把手带你进入爬虫的世界，打好基础，走的更远
    这里需要重点关注 accept ，cookie，user-agent 等参数。其中accept参数指定了该请求所接受的请求数据格式，cookie保存了浏览器的缓存，user-agent 可以理解为通行证。
  4. Application 模块主要是展示本次存储，Session存储，以及Cookies等。
    手把手带你进入爬虫的世界，打好基础，走的更远

怎么爬虫程序

编写爬虫程序分为三步：

  1. 利用 urllib库或者requests 库获取网页源码
  2. 利用BeautifulSoup4以及正则表达式解析源码
  3. 利用xls 、MySQL 、MongoDB等存储介质来存储数据
    下面就以码农飞哥的博客首页为例，爬取首页的所有文章的标题和概况

0. 依赖库的安装

安装requests库

pip install requests

安装beautifulsoup4库

自动安装的话可以直接通过

pip install beautifulsoup4 -i https://pypi.douban.com/simple

命令进行安装。如果安装失败的可以手动安装

手动安装就是先把beautifulsoup4-4.6.0-py3-none-any.whl 下载下来，我已经放在了源码中，然后执行：

pip install beautifulsoup4-4.6.0-py3-none-any.whl

安装与你Python版本相容的lxml库

这里还需要安装lxml库，lxml是XML和HTML的解析器，其主要功能是解析和提取XML和HTML中的数据。它是一款高性能的python HTML、XML解析器，也可以利用XPath语法，来定位特定的元素及节点信息。

pip install lxml -i https://pypi.douban.com/simple

如果不安装的话你可能会喜提如下图所示的bug
手把手带你进入爬虫的世界，打好基础，走的更远

安装pandas库

  • 安装pandas库首先需要在电脑中安装anaconda。anaconda下载地址。安装之后就是简单的安装了，在此就不在赘述了。
    手把手带你进入爬虫的世界，打好基础，走的更远
  • 安装matplotlib库和pandas库
pip install matplotlib
pip install pandas

将所必须的库安装好之后就是朴实无华的编码过程了。

1.利用requests 库获取网页源码（就是前面说的那个html文件）

import requests
r = requests.get('https://feige.blog.csdn.net/')
r.encoding = 'utf-8'

通过 requests.get方法就可以获取网页的源码，通过 r.encoding 将源码的编码格式设置为 utf-8。

2. 利用beautifulsoup4解析源码数据

手把手带你进入爬虫的世界，打好基础，走的更远
这里我们的文章标题被保存到了 标签中，文章摘要被保存在了 <p class="content"></p> 标签中。所以我们需要对这两个标签进行解析。

# 使用BeautifulSoup解析数据
soup = BeautifulSoup(r.text, 'lxml')
# 获取所有的摘要
pattern = soup.find_all('p', 'content')
content = []
# 循环遍历内容
for i, item in enumerate(pattern):
    content.append(item.string)

3. 利用pandas库来保存数据

df = pandas.DataFrame(content)
df.to_csv('content.csv')

将数据保存到conten.csv 文件中。

完整的源代码

import requests
from bs4 import BeautifulSoup
import pandas

# 使用request抓取数据
r = requests.get('https://feige.blog.csdn.net/')
r.encoding = 'utf-8'
# 使用BeautifulSoup解析数据
soup = BeautifulSoup(r.text, 'lxml')
# 获取所有的摘要
pattern = soup.find_all('p', 'content')
content = []
# 循环遍历内容
for i, item in enumerate(pattern):
    content.append(item.string)
df = pandas.DataFrame(content)
df.to_csv('content.csv')

总结

本文详细介绍了Python的爬虫入门的基础知识，让我们一起学起来。

全网同名【码农飞哥】。不积跬步，无以至千里，享受分享的快乐
我是码农飞哥，再次感谢您读完本文。

Original: https://www.cnblogs.com/Fly-Bob/p/15451635.html
Author: 码农飞哥
Title: 手把手带你进入爬虫的世界，打好基础，走的更远

相关阅读

Title: 在Python中寻找数据异常值的三种方法

1. 引言

在数据处理、机器学习等领域，我们经常需要对各式各样的数据进行处理，本文重点介绍三种非常简单的方法来检测数据集中的异常值。 闲话少说，我们直接开始吧！

2. 举个栗子

为了方便介绍，这里给出我们的测试数据集，如下：

data = pd.DataFrame([    [87, 82, 85],    [81, 89, 75],    [86, 87, 69],    [91, 79, 86],    [88, 89, 82],    [0, 0, 0],  # this guy missed the exam    [100, 100, 100],], columns=["math", "science", "english"])

图示如下：

手把手带你进入爬虫的世界，打好基础，走的更远

假设这里我们有一堆学生的三门科目的考试成绩——英语、数学和科学。这些学生通常表现很好，但其中一人错过了所有考试，三门科目都得了0分。在我们的分析中包括这个家伙可能会把事情搞砸，所以我们需要将他视为异常。

3. 孤立森林

使用孤立森林算法来求解上述异常值分析非常简单，代码如下：

from sklearn.ensemble import IsolationForestpredictions = IsolationForest().fit(data).predict(data)# predictions = array([ 1,  1,  1,  1,  1, -1, -1])

这里预测值针对每一行进行预测，预测结果为1或者-1；其中1表示该行不是异常值，而-1表示该行是异常值。在上述例子中，我们的孤立森林算法将数据中的最后2行都预测为异常值。

4. 椭圆模型拟合

使用孤椭圆模型拟合算法来求解上述异常值同样非常方便，代码如下：

from sklearn.covariance import EllipticEnvelopepredictions = EllipticEnvelope().fit(data).predict(data)# predictions = array([ 1,  1,  1,  1,  1, -1, 1])

在上述代码中，我们使用了另外一种异常值检测算法来代替孤立森林算法，但是代码保持不变。相似地，在预测值中，1表示非异常值，-1表示异常值。在上述情况下，我们的椭圆模型拟合算法只将倒数第二个学生作为异常值，即所有成绩都为零的考生。

5. 局部异常因子算法

类似地，我们可以非常方便地使用局部异常因子算法来对上述数据进行分析，样例代码如下：

from sklearn.neighbors import LocalOutlierFactorpredictions = LocalOutlierFactor(n_neighbors=5, novelty=True).fit(data).predict(data)# array([ 1,  1,  1,  1,  1, -1,  1])

局部异常因子算法是sklearn上可用的另一种异常检测算法，我们可以简单地在这里随插随用。同样地，这里该算法仅将最后第二个数据行预测为异常值。

6. 挑选异常值检测方法

那么，我们如何决定哪种异常检测算法更好呢？ 简而言之，没有"最佳"的异常值检测算法——我们可以将它们视为做相同事情的不同方式（并获得略有不同的结果）

7. 异常值消除

在我们从上述三种异常检测算法中的任何一种获得异常预测后，我们现在可以执行异常值的删除。 这里我们只需保留异常预测为1的所有数据行，代码如下：

# predictions = array([ 1,  1,  1,  1,  1, -1,  1])data2 = data[predictions==1]

结果如下：

手把手带你进入爬虫的世界，打好基础，走的更远

8. 总结

本文重点介绍了在Python中使用sklearn机器学习库来进行异常值检测的三种方法，并给出了相应的代码示例。

您学废了嘛？

手把手带你进入爬虫的世界，打好基础，走的更远

Original: https://blog.51cto.com/u_15506603/5512727
Author: sgzqc
Title: 在Python中寻找数据异常值的三种方法