doris生产使用记录

2022-11-03人工智能50

Apache doris介绍:

Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。

Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！

一,镜像编译

生产环境使用了百度的PALO-0.14.12.4版本,百度发行版本在百度内部进行过测试和上线，相比较开源社区的doris更稳定一些,推荐使用palo

下载地址:

http://palo.baidu.com/docs/%E4%B8%8B%E8%BD%BD%E4%B8%93%E5%8C%BA/%E9%A2%84%E7%BC%96%E8%AF%91%E7%89%88%E6%9C%AC%E4%B8%8B%E8%BD%BD/

0.14.12.4版本可使用此镜像编译docker.io/apachedoris/doris-dev:build-env-1.2

下载好编译镜像运行镜像,在镜像里下载palo源码后执行sh build.sh命令等待一段时间即可编译出fe和be文件

详细步骤可参考:

编译 | Apache Doris

有了fe和be文件后续可以根据运行的平台自行打包出fe和be镜像,需要MySQL客户端也可在镜像内自行安装,jdk版本需要使用jdk11

二,如何使用

Doris 采用 MySQL 协议进行通信，用户可通过 MySQL client 或者 MySQL JDBC连接到 Doris 集群

1,从fe节点执行进入客户端

mysql -h 127.0.0.1 -P 2312 -uroot -p

可自行修改mysql客户端密码

SET PASSWORD FOR 'root' = PASSWORD('自定义密码');

doris集群添加BE节点

ALTER SYSTEM ADD BACKEND "XX.XXX.XX.XX:XXXX";
ALTER SYSTEM ADD BACKEND "XX.XXX.XX.XX:XXXX";
ALTER SYSTEM ADD BACKEND "XX.XXX.XX.XX:XXXX";

doris集群添加FE节点

ALTER SYSTEM ADD FOLLOWER "XX.XXX.XX.XX:XXXX";
ALTER SYSTEM ADD FOLLOWER "XX.XXX.XX.XX:XXXX";

后续可根据业务需求自行建库建表

部署完成节点创建好之后可通过doris自带的监控暴露一下metrics端口

通过promethues抓取数据放到grafana展示便于查看集群使用情况:

效果如下:

doris生产使用记录

数据发送方式:

推荐使用stream load通过http方式连接fe节点(多个fe节点自行处理负载均衡问题)往doris发送数据

代码可参考:

https://github.com/apache/incubator-doris/blob/master/samples/stream_load/java/DorisStreamLoad.java

通过Java程序调用stream load导入数据，在一批次数据量较大时，可能会报错Broken Pipe

除了Broken Pipe外，还可能出现一些其他的奇怪的错误。

这个情况通常出现在开启httpv2后。因为httpv2是使用spring boot实现的http 服务，并且使用tomcat作为默认内置容器。但是jetty对307转发的处理似乎有些问题，所以后面将内置容器修改为了jetty。此外，在java程序中的 apache http client的版本需要使用4.5.13以后的版本。之前的版本，对转发的处理也存在一些问题。

所以这个问题可以有两种解决方式：

1.关闭 httpv2

在 fe.conf 中添加 enable_http_server_v2=false 后重启FE。但是这样无法再使用新版UI界面，并且之后的一些基于httpv2的新接口也无法使用（正常的导入查询不受影响）

2.升级

可以升级到百度的Palo发行版0.14.13及之后的版本，已修复这个问题

如遇到消息发送失败可通过http请求返回结果的报文查看具体原因

以上doris使用是一个轻量级的实时计算kafka-stream往doris发送数据的案例的一部分,后续会写篇博客详细说明下kafka-stream往doris发送数据如何处理数据不丢,多线程批量发送数据时如何顺序插入数据等问题