1、大数据分析框架结构
; 2、数据、信息与数据分析
数据：是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。
数据是信息的形式和载体，可以是符号、文字、数字、语音、图像、视频等。
[En]
Data is the form and carrier of information, which can be symbols, words, numbers, voice, image, video and so on.
数据侧重于数据采集、清洗、预处理、分析和挖掘，图形侧重于光学图像的接收、提取信息、处理变换、模式识别和存储显示，可视化侧重于解决数据转化为图形和交互处理的问题。
[En]
Data focus on data acquisition, cleaning, preprocessing, analysis and mining, graphics focus on receiving, extracting information, processing transformation, pattern recognition and storage display of optical images, and visualization focuses on solving the problem of converting data into graphics and interactive processing.
信息：是数据的内涵，是承载信息的数据，是对数据进行有意义的解读。
[En]
Information: is the connotation of data, information is loaded on the data, the data for a meaningful interpretation.
数据和信息密不可分，信息靠数据来表达，数据是信息生动具体的表达方式。
[En]
Data and information are inseparable, information depends on data to express, data is vivid and concrete expression of information.
数据是符号，是物理性的，信息是对数据进行加工处理之后得到、并对决策产生影响的数据，是逻辑性和观念性的；
数据是信息的形式，信息是数据的有意义的表现形式。数据是信息的表达和载体，信息是数据的内涵，是形式与质量的关系。[En]
Data is the form of information, and information is the meaningful representation of data. Data is the expression and carrier of information, and information is the connotation of data and the relationship between form and quality.
数据本身没有意义，数据只有对实体行为产生影响时才成为信息。
数据分析：指运用适当的统计分析方法对收集到的大量数据进行分析，并对数据进行详细的研究和总结，以提取有用的信息并形成结论的过程。
[En]
Data analysis: refers to the process of using appropriate statistical analysis methods to analyze a large number of collected data, and to study and summarize the data in detail in order to extract useful information and form conclusions.
广义的数据分析包括两个部分：数据分析和数据挖掘。
[En]
In a broad sense, data analysis covers two parts: data analysis and data mining.
从狭义上讲，数据分析和数据挖掘是有区别的。它主要体现在两者的定义、重点、技能要求和最终输出形式上。
[En]
In a narrow sense, there are differences between data analysis and data mining. It is mainly reflected in the definition, focus, skill requirements and final output form of the two.
广义的数据分析包括狭义数据分析和数据挖掘。
狭义数据分析是指根据分析目的，对收集到的数据进行比较分析、分组分析、交叉分析和回归分析，提取有价值的信息，充分发挥数据的作用。获得特征统计结果的过程。
[En]
Data analysis in a narrow sense means that according to the purpose of analysis, the collected data are processed and analyzed by means of comparative analysis, grouping analysis, cross analysis and regression analysis, so as to extract valuable information and give full play to the role of the data. the process of getting the result of a characteristic statistic.
数据挖掘是通过应用聚类、分类、回归和关联规则等方法，从大量不完整、含噪声、模糊和随机的实际应用数据中挖掘潜在价值的过程。
[En]
Data mining is a process of mining potential value from a large number of, incomplete, noisy, fuzzy and random practical application data through the application of clustering, classification, regression and association rules.
数据分析与数据挖掘的区别：
差异角度数据分析数据挖掘定义描述和探索性分析，评估现状和修正不足 技术技术性的"采矿"过程，发现未知的模式和规律侧重点技术性的"采矿"过程，发现未知的模式和规律技术性的"采矿"过程，发现未知的模式和规律技能统计学、数据库、Excel、可视化等过硬的数学功底和编程技术结果需结合业务知识解读统计结果模型或规则
数据分析的流程：
1、需求分析：数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法。
数据采集：数据是数据分析的基础，是指根据需求分析的结果提取和收集数据。
[En]
Data acquisition: data is the basis of data analysis, which refers to the extraction and collection of data according to the results of demand analysis.
2、数据预处理：数据预处理是指对数据进行数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称。
3、分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程。
4、模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。
5、部署：部署是指将通过了正式应用数据分析结果与结论应用至实际生产系统的过程。
3、数据可视化
数据分析是一个探索性的过程，通常从一个特定的问题开始。它需要好奇心、寻找答案的愿望和良好的韧性，因为这些答案并不总是很容易得到。
[En]
Data analysis is an exploratory process, usually starting with a specific problem. It requires curiosity, a desire to find answers, and good resilience, because these answers are not always easy to get.
数据可视化，即数据的可视化展示。有效的可视化可以显著减少观众处理信息和获得有价值的见解所需的时间。
[En]
Data visualization, that is, the visual display of data. Effective visualization can significantly reduce the time it takes for the audience to process information and obtain valuable insights.
数据分析和数据可视化这两个术语密不可分。在实际的数据处理中，数据分析先于可视化输出，而可视化分析是呈现有效分析结果的好方法。
[En]
The terms data analysis and data visualization are inseparable. In the actual processing of data, data analysis precedes visual output, and visual analysis is a good way to present effective analysis results.
数据可视化：关于数据可视化表示的科学技术研究。其中，这类数据的可视化表示被定义为“以一定的摘要形式提取的一种信息，包括相应信息单元的各种属性和变量”。
[En]
Data visualization: the scientific and technological research on the visual representation of data. Among them, the visual representation of this kind of data is defined as "a kind of information extracted in a certain summary form, including various attributes and variables of the corresponding information units".
数据可视化主要是借助图形化的手段，清晰有效地传达和沟通信息。
[En]
Data visualization is mainly with the help of graphical means to convey and communicate information clearly and effectively.
数据可视化是指将大数据集中的数据以图形和图像的形式表示出来，并使用数据分析和开发工具来发现未知信息的过程。
[En]
Data visualization refers to the process of representing the data in large datasets in the form of graphics and images, and using data analysis and development tools to find unknown information.
数据可视化技术的基本思想是将数据库中的每个数据项表示为单一的图形元素，大量的数据集构成数据图像，数据的属性值以多维数据的形式表示。可以从不同的维度观察数据，从而可以更深入地观察和分析数据。
[En]
The basic idea of data visualization technology is that each data item in the database is represented as a single graph element, a large number of data sets constitute the data image, and the attribute values of the data are expressed in the form of multi-dimensional data. the data can be observed from different dimensions, thus the data can be observed and analyzed more deeply.
数据可视化的方法1----面积&尺寸可视化：
数据可视化的方法2----颜色可视化
数据可视化的方法3----图形可视化
数据可视化的方法4----概念可视化
可视化典型案例：
1、全球黑客活动
安全供应商Norse打造了一张能够反映全球范围内黑客攻击频率的地图（http://map.ipviking.com），它利用Norse 的"蜜罐"攻击陷阱显示出所有实时渗透攻击活动。如下图所示，地图中的每一条线代表的都是一次攻击活动，借此可以了解每一天、每一分钟甚至每一秒世界上发生了多少次恶意渗透。
2、互联网地图：
为了探究互联网这个庞大的宇宙，俄罗斯工程师 Ruslan Enikeev 根据 2011 年底的数据，将全球 196 个国家的 35 万个网站数据整合起来，并根据 200 多万个网站链接将这些"星球"通过关系链联系起来，每一个"星球"的大小根据其网站流量来决定，而"星球"之间的距离远近则根据链接出现的频率、强度和用户跳转时创建的链接来确定，由此绘制得到了"互联网地图"（http://internet-map.net）。
3、编程语言之间的影响力关系图
Ramio Gómez利用来自Freebase上的编程语言维护表里的数据，绘制了编程语言之间的影响力关系图，如下图所示，图中的每个节点代表一种编程语言，之间的连线代表该编程语言对其他语言有影响，有影响力的语言会连线多个语言，相应的节点也会越大。
4、百度迁徙
2014年1月25日晚间，央视与百度合作，启用百度地图定位可视化大数据播报春节期间全国人口迁徙情况，引起广泛关注。
5、世界国家健康与财富之间的关系
"世界国家健康与财富之间的关系"利用可视化技术，把世界上200个国家，从1810年到2010年历时200年其各国国民的健康、财富变化数据（收集了1千多万个数据）制作成三维动画进行了直观展示（http://www.moojnn.com/Index/whn）。
6、3D可视化互联网地图APP
3D可视化是描绘和理解数据的一种手段，是数据的一种表征形式，并非模拟技术。3D可视化以一种独特的立体视角为用户呈现数据，可以帮助用户发现一些在2D模式下无法察觉的内容。Peer 1开发了一个称为"互联网地图"的APP，这是一个建立在小盒子形式上的3D地图。
7、数据可视化案例-滴滴的交通大数据
; 数据分析与可视化常用工具
1．Microsoft Excel
Excel是大家熟悉的电子表格软件，已被广泛使用了二十多年，如今甚至有很多数据只能以Excel表格的形式获取到。在Excel中，让某几列高亮显示、做几张图表都很简单，于是也很容易对数据有个大致了解。Excel的局限性在于它一次所能处理的数据量上，而且除非通晓VBA这个Excel内置的编程语言，否则针对不同数据集来重制一张图表会是一件很繁琐的事情。
2．R语言
R语言是由新西兰奥克兰大学Ross Ihaka和Robert Gentleman开发的用于统计分析、绘图的语言和操作环境，是属于GNU系统的一个自由、免费、源代码开放的软件，是一个用于统计计算和统计制图的优秀工具。
R语言的主要功能包括数据存储和处理系统、驻足运算工具（其向量、矩阵运算方面功能尤其强大）、完整连贯的统计分析工具、优秀的统计制图功能、简便而强大的编程语言以及可操纵数据的输入和输出等功能。
3．Python语言
Pyhton 是由荷兰人 Guido van Rossum 于 1989 年发明的，并在1991年首次公开发行。它是一款简单易学的编程类工具，同时，其编写的代码具有简洁性、易读性和易维护性等优点。Pyhton原本主要应用于系统维护和网页开发，但随着大数据时代的到来，以及数据挖掘、机器学习、人工智能等技术的发展，促使 Python进入数据科学的领域。
Python同样拥有各种五花八门的第三方模块，用户可以利用这些模块完成数据科学中的工作任务。
- SAS软件
SAS是全球最大的软件公司之一，是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体，具有功能强大、统计方法齐、全、新并且操作简便灵活的特点。 - SPSS
SPSS是世界上最早的统计分析软件。它封装了先进的统计学和数据挖掘技术来获得预测知识，并将相应的决策方案部署到现有的业务系统和业务过程中，从而提高企业的效益。IBM SPSS Modeler拥有直观的操作界面、自动化的数据准备和成熟的预测分析模型，结合商业技术可以快速建立预测性模型。
6.专用的可视化分析工具
除了数据分析与挖掘工具中包含的数据可视化功能模块之外，也有一些专用的可视化工具提供了更为强大便捷的可视化分析功能。目前常用的专业可视化分析工具有Power BI、Tableau、Gehpi和Echarts等。
为何选用Python
Python语言是一种解释型、面向对象、动态数据类型的高级程序设计语言
Python语言是数据分析师的首选数据分析语言，也是智能硬件的首选语言
Python语言的特点（1）:优点
- 简单易学
Python是一种代表简单主义思想的语言，它有极简单的语法，极易上手。
2.集解释性与编译性于一体
Python语言写的程序不需要编译成二进制代码，可以直接从源代码运行程序，但是需要解释器，它也具有编译执行的特性。
3.面向对象编程
Python 即支持面向过程的编程也支持面向对象的编程。与其他主要的语言如C++ 、Java相比，Python以一种非常强大又简单的方式实现面向对象编程。
4.可扩展性和可嵌入性
可以把部分程序用C或C++编写，然后在Python程序中使用它们，也可以把Python嵌入到C/C++ 程序中，提供脚本功能。
5.程序的可移植性
绝大多数的的Python程序不做任何改变即可在主流计算机平台上运行。
6.免费、开源
您可以自由发布该软件的副本，阅读其源代码，对其进行更改，并在新的自由软件中使用其中的一部分。[En]
You are free to publish a copy of the software, read its source code, make changes to it, and use part of it in new free software.
Python语言的特点（2）：缺点
Python的唯一缺点是与C和C++相比执行的效率还不够快，因为Python没有将代码编译成底层的二进制代码；
但Python具有嵌入性的特征，对于大型程序，完全可以采用多语言混编策略，对于需要较快运行的模块，例如图像处理，则可以用C语言编程，对性能要求不是很高的地方则可以用Python编程，当需要他图像处理的时候Python程序把代码发送至Python解释器中内部已经编译的C代码，这样综合开发效率和性能综合起来是最高的。例如作为一个Python的数值计算扩展，NumPy将Python变为一个高效并简单易用的数值计算编程工具。
优点一：优雅、简单、明确
优点二：强大的标准库
优点三：良好的可扩展性
优点四：免费、开源
Python常用类库
- Numpy
NumPy软件包是Python生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。
除了能对数值数据进行切片（slice）和切块（dice）外，使用NumPy还能为处理和调试上述库中的高级实例带来极大便利。
一般被很多大型金融公司使用，以及核心的科学计算组织如Lawrence Livermore、NASA用其处理一些本来使用C++、Fortran或Matlab等所做的任务。 - SciPy
SciPy（http://scipy.org）是基于NumPy开发的高级模块，依赖于NumPy，提供了许多数学算法和函数的实现，可便捷快速地解决科学计算中的一些标准问题，例如数值积分和微分方程求解、最优化、甚至包括信号处理等。
作为标准科学计算程序库， SciPy它是Python科学计算程序的核心包，包含了科学计算中常见问题的各个功能模块，不同子模块适用于不同的应用。 - Pandas
Pandas提供了大量快速便捷处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。
Pandas中主要的数据结构有Series、DataFrame和Panel。其中Series是一维数组，与NumPy中的一维array以及Python基本的数据结构List类似；DataFrame是二维的表格型数据结构，可以将DataFrame理解为Series的容器； Panel是三维的数组，可看作为DataFrame的容器。 - Matplotlib
Matplotlib是Python 的绘图库，是用于生成出版质量级别图形的桌面绘图包，让用户很轻松地将数据图形化，同时还提供多样化的输出格式。 - Seaborn
Seaborn在Matplotlib基础上提供了一个绘制统计图形的高级接口，为数据的可视化分析工作提供了极大的方便，使得绘图更加容易。
用Matplotlib最大的困难是其默认的各种参数，而Seaborn则完全避免了这一问题。一般来说，Seaborn能满足数据分析90%的绘图需求。 - Scikit-learn
Scikit-learn是专门面向机器学习的Python开源框架，它实现了各种成熟的算法，容易安装和使用。
Scikit-learn的基本功能有分类、回归、聚类、数据降维、模型选择和数据预处理六大部分。
数据科学计算平台—Anaconda
Anaconda是一个集成的Python数据科学环境，简单的说，Anaconda除了有Python外，还安装了180多个用于数据分析的第三方库，而且可以使用conda命令安装第三方库和创建多个环境。相对于只安装Python而言，避免了安装第三方库的麻烦。
网站：
https://mirror.tuna.tsinghua.edu.cn/help/anaconda/
Original: https://blog.csdn.net/qq_45771939/article/details/121464395
Author: 零陵上将军_xdr
Title: Python数据分析与可视化（1）——Python数据分析与可视化