1. 概述
新闻是我们了解外界的重要渠道，以前，我们一般通过报纸和电视来获取新闻，那时候，获取新闻不仅有一定的成本，效率还不高。
[En]
News is an important channel for us to understand the outside world. in the past, we generally obtained news through newspapers and television. at that time, access to news not only had a certain cost, but also inefficient.
而如今，获取新闻的途径太多太方便了，大量重复的新闻充斥着各大平台，获取新闻已经没有什么成本，问题变成了过滤和鉴别新闻的可信程度。
[En]
Nowadays, there are too many and convenient ways to get news, a large number of repeated news are filled with various platforms, there is no cost to get news, and the problem has become to filter and identify the credibility of news.
下面用 【新浪新闻】 作为采集对象，抛砖引玉，演示下新闻从采集到分析的整个过程。
2. 采集流程
主要流程分为4个步骤：
2.1 采集
从新浪滚动新闻页面中，找出获取新闻的API，然后，并发的采集新闻。
这里为了简单起见，主要采集了新闻标题和摘要信息。
```python
-- coding: utf-8 --
相关文章
[NLP比赛推荐]商品标题实体识别
比赛链接 https://www.heywhale.com/home/competition/620b34ed28270b0017b823ad/content/3 ; 1 赛题背景 京东商品标题包含了...
Linux的NFS配置
导读： 验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码...
Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘
一、概述 二、Hive优点与使用场景 1）优点 2）使用场景 三、Hive架构 1）服务端组件 1、Driver组件 2、Metastore组件 3、Thrift服务 2）客户端组件 1、CLI 2、...
JVM中有哪些内存区域，分别是用来干什么的
现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家 1/0 前言 之前我们...
PHP 开发者的 Docker 之旅
用 PHP 作为我们「Docker 开发大礼包」开篇是带着一些朝圣的心情的。这是一门堪称「古老」的语言，这也是一门争议最多的语言，这更是一门不断涅槃的语言。「PHP 是最好的语言」这个流传已久的梗，或...
标准国民经济行业分类与代码GB/T 4754-2011存入mysql数据库
一、概述 二、Hive优点与使用场景 1）优点 2）使用场景 三、Hive架构 1）服务端组件 1、Driver组件 2、Metastore组件 3、Thrift服务 2）客户端组件 1、CLI 2、...
自己手动创建dotnet的docker镜像
出现的问题： 机房总是停电，导致每次都要手动启动docker容器。 2.原来的容器，都是在ubuntu容器内部安装dotnet,ubuntu容器达到了2.2G,如果用微软的基础镜像，只有200多兆。 ...
Android关于VideoView的一些思考和总结
Android关于VideoView的一些思考和总结 原创 Stven_King2022-08-22 16:29:08博主文章分类：Android ©著作权 文章标签 android 视频 Video...
Eureka作为注册中心
目录 Eureka * 一、Eureka基础知识： - 服务注册与发现： 服务注册中心的一般原理 Eureka基础架构 二、搭建单机版EurekaServer： - 搭建独立的 注册中心 微服务： 将...
【学习笔记】Python科学计算三维可视化(黄天羽、嵩天)（学习中。。）
0 导学 目的： 掌握利用三维效果表达科学和工程数据的能力 传播一种思想： 可视化技术是数据之眼 内容组织： 流体数据的标量可视化、矢量可视化实例 三维扫描数据（模型/地形）可视化实例 三维地球场景可...
天空卫士陆明：数据法在企业如何落地
导读： 验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码...
JVM之深入解析强引用、软引用、弱引用
关于强引用、软引用、弱引用、幻象引用的区别，在很多公司的面试题中经常出现，可能有些小伙伴觉得这个知识点比较冷门，但其实大家在开发中经常用到，如new一个对象的时候就是强引用的应用。 在java语言中，...
docker专题 从入门到放弃
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱...
self-attention的作用，理解
Attention与Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新...