如何在Hive中使用Json格式数据

本文参考了:http://pkghosh.wordpress.com/2012/05/06/hive-plays-well-with-json/

表示感谢!

总体来说,有两大类方法:

1、将json以字符串的方式整个入Hive表,然后使用LATERAL VIEW json_tuple的方法,获取所需要的列名。

2、将json拆成各个字段,入Hive表。这将需要使用第三方的SerDe,例如:https://code.google.com/p/hive-json-serde/[......]

继续阅读

Hive的SELECT时,打印列名,以及key value显示

在MySQL中,支持\G,按照key = value的方式显示。

Hive也是支持的,只不过通过参数配置产生。

1、打印列名:
set hive.cli.print.header=true;
2、每行显示一个key、value,即\G类似的方式
set hive.cli.print.header=true;
set hive.cli.print.row.to.vertical=true;
set hive.cli.print.row.to.vertical.num=1;[......]

继续阅读

让hive使用derby的服务模式

hive默认使用的derby的嵌入模式。这个就面临着,无法多个并发hive shell共享的问题。

使用MySQL服务器也可以解决问题,但安装、配置太麻烦了。

可以使用轻量级的derby的c/s服务模式解决问题。

1、下载、配置derby

首先,从apache下载derby的最新版。
wget http://apache.mirrors.pair.com//db/derby/db-derby-10.10.1.1/db-derby-10.10.1.1-bin.tar.gz[......]

继续阅读