威尼斯www.9778.com-威尼斯正版官方网站

Hive HBase Integration 集成

日期:2020-01-30编辑作者:数据库

官方文档:

 

1、在hive/lib目录下找到hive-hbase-handler-1.2.1.jar,并把该文件拷贝到hbase/lib目录下。

2、把hbase/lib目录下的所有*.jar文件拷贝到hive/lib目录下。

3、在hive的配置文件中 hive-site.

1 <property>2     <name>hbase.zookeeper.quorum</name>3     <value>node1,node2,node3</value>4 </property>

4、在hive中创建临时表:

1 CREATE TABLE t_test1 2 (id int,name string, age string) 3 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 4 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age") 5 TBLPROPERTIES ("hbase.table.name" = "t_test1","hbase.mapred.output.outputtable" = "t_test1");

HBase表信息:

hbase(main):011:0> describe "t_test1"

测试在hive中插入数据:

hive> insert into t_test1(id,name,age)values(001, 'zs', 'male');

在hbase中同样能查到:

hbase(main):013:0> scan 't_test1'
ROW COLUMN+CELL
1 column=info:age, timestamp=1467337507821, value=male
1 column=info:name, timestamp=1467337507821, value=zs
1 row(s) in 0.3310 seconds

在hbase中插入数据:

hbase(main):015:0> put 't_test1','002','info:age','30'
0 row(s) in 0.0430 seconds

威尼斯正版官方网站,在hive中同样能查到:

hive> select *From t_test1;
OK
2 NULL 30
1 zs male
Time taken: 0.312 seconds, Fetched: 2 row(s)

关联已经存在的hbase表,需要使用external外部表;

应用场景主要针对已经清洗过的数据,放到hbase中,然后通过hql语句根据业务要求将需要的数据提取出来,然后通过sqoop抽取到类似于mysql的数据库中,供展现使用。

 

本文由威尼斯www.9778.com发布于数据库,转载请注明出处:Hive HBase Integration 集成

关键词:

windows10安装mysql8.0.11

1.MySQL8.0.11下载网址: 1.首先到mysql官网下载 (): 2.配置环境变量:我的电脑-属性-高级系统设置-环境变量-系统变量...

详细>>

【mysql 性能优化篇】优化数据库结构

删除数据 SQLdelete from 表名 where 条件;SQLcommit;(确认删除了就提交,别人才能看到该表的数据,也才能操作)delet...

详细>>

表操作(day03)

概念 把三个查询结果作为另贰个询问的底子。 1.sql99专门的学问中的表连接 内连接: select 字段列表 from 表1 [inner] jo...

详细>>

Oracle行级锁的特殊用法简析威尼斯正版官方网站

威尼斯正版官方网站,Oracle有许多的锁,各种锁的效用是不一样的。下面重点介绍Oracle行级锁,Oracle行级锁只对用户...

详细>>