Lanson

V1

2022/09/03阅读:9主题:山吹

数据治理(八):Atlas集成Hive

Atlas集成Hive

Atlas可以针对多个不同的数据源,统一采用kafka作为中间消息传递队列,使元数据源与服务端采用异步方式进行沟通,减少元数据采集对正常业务效率的影响,但是目前的Atlas版本监控Hive中数据操作比较完善,但是监控Sqoo(目前只支持hive import)、Spark等支持不好。

我们可以使用Atlas监控Hive中的元数据,这时需要配置Hive Hook(钩子),在Hive中做的任何操作,都会被钩子所感应到,并以事件的形式发布到kafka,然后,Atlas的Ingest模块会消费到Kafka中的消息,并解析生成相应的Atlas元数据写入底层的Janus图数据库来存储管理,其原理如下图示:

atlas安装之前,hive中已存在的表,钩子是不会自动感应并生成相关元数据的,可以通过atlas的工具脚本来对已存在的hive库或表进行元数据导入,步骤如下:

一、配置hive-site.xml

在node3 Hive客户端$HIVE_HOME/conf/hive-site.xml中追加写入:

<!-- 配置hook 钩子类 -->
<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

二、修改Hive-env.sh

[root@node3 ~]# cd /software/hive-3.1.2/conf
[root@node3 conf]# cp hive-env.sh.template hive-env.sh
[root@node3 conf]# vim hive-env.sh
export HIVE_AUX_JARS_PATH=/software/apache-atlas-2.1.0/hook/hive/

三、 复制 HIVE_HOME/conf下,并追加内容

#复制atlas-application.properties文件到$HIVE_HOME/conf下
[root@node3 ~]# cp /software/apache-atlas-2.1.0/conf/atlas-application.properties /software/hive-3.1.2/conf/

四、复制导入Hive元数据必须的jar包

[root@node3 ~]# cp /software/apache-atlas-2.1.0/server/webapp/atlas/WEB-INF/lib/jackson-jaxrs-base-2.9.9.jar /software/apache-atlas-2.1.0/hook/hive/atlas-hive-plugin-impl/

[root@node3 ~]# cp /software/apache-atlas-2.1.0/server/webapp/atlas/WEB-INF/lib/jackson-jaxrs-json-provider-2.9.9.jar /software/apache-atlas-2.1.0/hook/hive/atlas-hive-plugin-impl/

[root@node3 ~]# cp /software/apache-atlas-2.1.0/server/webapp/atlas/WEB-INF/lib/jackson-module-jaxb-annotations-2.9.9.jar /software/apache-atlas-2.1.0/hook/hive/atlas-hive-plugin-impl/

五、执行同步Hive 元数据脚本

#这里同步的是Hive中已有数据的元数据,可以通过此脚本同步过来
[root@node3 ~]# cd /software/apache-atlas-2.1.0/bin/
#执行脚本导入元数据,期间需要输入atlas的用户名和密码:admin/admin
[root@node3 bin]# import-hive.sh 

六、以上导入元数据成功后,可以在Atlas页面中查看

七、在Hive中创建数据表,查看是否能被Atlas监控

hive> create table personinfo(id int ,name string,age int) row format delimited fields terminated by '\t';
#需要准备 person.txt文件
hive> load data local inpath '/root/test/person.txt' into table personinfo;

八、刷新Atlas页面,可以看到数据被同步

分类:

后端

标签:

大数据

作者介绍

Lanson
V1

CSDN大数据领域博客专家