为学习spark，虚拟机中开4台虚拟机安装spark3.0.0
底层hadoop集群已经安装好，见ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境
首先，去http://spark.apache.org/downloads.html下载对应安装包
相关文章
什么是hive的静态分区和动态分区，它们又有什么区别呢？hive动态分区详解
面试官问我，什么是hive的静态分区和动态分区，这题我会呀。 简述 分区是hive存放数据的一种方式，将列值作为目录来存放数据，就是一个分区，可以有多列。 这样查询时使用分区列进行过滤，只需根据列值直...
JuiceFS 如何帮助趣头条超大规模 HDFS 降负载
导读： 验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码...
Kafka入门实战教程（6）：调优Kafka的实践
1 调优Kafka的目标 通常来说，任何系统调优的目标都是为了满足系统常见的非功能性需求，而性能则是众多非功能性需求中最重要的一个。 不同的系统对性能的侧重点不同，DB的话性能是响应时间，而 对于Ka...
JVM之深入解析强引用、软引用、弱引用
关于强引用、软引用、弱引用、幻象引用的区别，在很多公司的面试题中经常出现，可能有些小伙伴觉得这个知识点比较冷门，但其实大家在开发中经常用到，如new一个对象的时候就是强引用的应用。 在java语言中，...
词嵌入(Word Embedding)
目录 为什么需要词向量嵌入？ 表征的对象是什么？ 如何表征？ 词向量嵌入矩阵 Skip-Gram CBoW 负采样 结语 Reference 为什么需要词向量嵌入？ 在自然语言相关的任务中，我们将句子...
30套各行业可视化模板，比Excel好看千倍！
可视化大屏幕的目的是通过将数据可视化在屏幕上，帮助用户熟悉业务数据，以便高效地处理信息并做出快速响应。[En]The purpose of large visualization screen is ...
sarama的消费者组分析、使用
kafka的go客户端，使用最多的应该是sarama，但以前老的sarama版本不支持消费者组的消费方式，所以大多数人都用sarama-cluster。 后来sarama支持了消费者组的消费方式，sa...
王怀远：阿里云一站式物联网存储架构设计
导读： 验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码...
03_Linux基础-文件类型-主辅提示符-第1提示符-Linux命令-内外部命令-快捷键-改为英文编码-3个时间-stat-其他基础命令
03_Linux基础-文件类型-主辅提示符-第1提示符-Linux命令-内外部命令-快捷键-改为英文编码-3个时间-stat-{1..100}-du-cd-cp-file-mv-echo-id-she...
K8S 部署 Kafka 集群(集群外部可调用)
部署 zookeeper 集群 mkdir -p /data/yaml/kube-system/zookeeper cd /data/yaml/kube-system/zookeeper cat sv...
JuiceFS 在数据湖存储架构上的探索
大家好，我是来自 Juicedata 的高昌健，今天想跟大家分享的主题是《JuiceFS 在数据湖存储架构上的探索》，以下是今天分享的提纲： 首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点，...
复旦发布国内首个类ChatGPT模型MOSS，和《流浪地球》有关？
昨晚，复旦大学自然语言处理实验室邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS ，现已发布至公开平台https://moss.fastnlp.top/ ，邀公众参与内测。 MOSS和ChatG...
Docker 与 Containerd 并用配置
描述: 事实上，Docker 和 Containerd 是可以同时使用的，只不过 Docker 默认使用的 Containerd 的命名空间不是 default，而是 moby，此处为了更方便我们学习...