Ambari 自定义服务集成原理介绍

大数据71

之前,在 github 上开源了 ambari-Kylin 项目,可离线部署,支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址为:https://github.com/841809077/ambari-Kylin ,欢迎 star 。
这段时间,陆续有不少朋友通过公众号联系到我,问我相关的集成步骤。今天正好休息,索性将 ambari 自定义服务集成的原理给大家整理出来。
它其实不难,但是网络上并没有多少这方面的资料分享,官方也很少,所以学习门槛就稍微高了一些。但你如果能持续关注我,我相信您能快速上手。

[En]

In fact, it is not difficult, but there is not much information to share on the Internet, and there are few officials, so the threshold for learning is slightly higher. But if you can keep watching me, I'm sure you can get started quickly.

一、简述 ambari

ambari 是一个可视化管理 Hadoop 生态系统的一个开源服务,像 hdfs、yarn、mapreduce、zookeeper、hive、hbase、spark、kafka 等都可以使用 ambari 界面来统一安装、部署、监控、告警等。

对于未受 ambari 界面管理的服务,比如 Elasticsearch、Kylin、甚至是一个 jar 包,都可以利用 自定义服务集成相关技术 将 服务 集成到 ambari 界面里。这样,就可以 通过 ambari 实现对 自定义服务 的 安装、配置、启动、监听启动状态、停止、指标监控、告警、快速链接 等很多操作,极其方便。

二、宏观了解自定义服务集成原理

对于安装过 ambari 的朋友可能比较熟悉,我们在部署 hdp 集群的时候,在界面上,会让我们选择 hdp stack 的版本,比如有 2.0、... 、2.6、3.0、3.1 等,每一个 stack 版本在 ambari 节点上都有对应的目录,里面存放着 hdp 各服务,像 hdfs、yarn、mapreduce、spark、hbase 这些,stack 版本高一些的,服务相对多一些。 stack 版本目录具体在 ambari-server 节点的 /var/lib/ambari-server/resources/stacks/HDP 下,我们用 python 开发的自定义服务脚本就会放到这个目录下。

Ambari 自定义服务集成原理介绍

将自定义服务放到指定目录下,我们需要重启 ambari server 才能在 添加服务 界面加载出来我们的自定义服务,ambari 在安装自定义服务的过程中,也会将 python 开发的自定义服务脚本分发到 agent 节点上,由 agent 节点的 自定义服务脚本 来执行 安装、部署 步骤。

Ambari 自定义服务集成原理介绍

输入验证码查看隐藏内容

扫描二维码关注本站微信公众号 Johngo学长
或者在微信里搜索 Johngo学长
回复 svip 获取验证码
wechat Johngo学长

相关文章
大数据

clickhouse安装部署

要使用 Ansible 集群,需要完成以下步骤: 1. 确保已经在每个目标主机上 ,并确保 已经可以正常运行。 2. 创建一个 Ansible 的 inventory 文件,该文件列出了所有 集群中的...
大数据

Hadoop HDFS操作命令总结

Hadoop HDFS操作命令总结 1.列出根目录下所有的目录或文件 hadoop fs -ls / 2.列出/logs目录下的所有目录和文件 hadoop fs -ls /logs 3.列出/use...
大数据

【Flink】Flink 中的时间语义和水位线

水位线是插入到数据流中的一个标记,可以认为是一个特殊的数据 水位线主要的内容是一个时间戳,用来表示当前事件时间的进展 水位线是基于数据的时间戳生成的 水位线的时间戳必须单调递增,以确保任务的事件时间时...
大数据

数据仓库工具箱3

1 值链 了解数据流通路径。 ; 2 库存模型 2.1 周期库存快照 快照数据量大,过于稠密会造成损害。 可降低快照频度。 记录静态水平(库存水平、财务账户结余以及房间温度这样的密集量度值)的所有量度...
大数据

剑指Offer:反转列表(24)

题目描述: 输入一个链表,反转链表后,输出新链表的表头。 解题思路: 比较简单,直接上代码 题目描述: 输入一个链表,反转链表后,输出新链表的表头。 解题思路: 比较简单,直接上代码 递归: 1 cl...
大数据

Yarn模式部署Flink集群

一、环境准备 1、准备两台服务器server115 和server116安装好hadoop环境,其中server115配置hdfs的namenode,在server116上配置hdfs的Seconda...