Category Archives: 大数据技术

Hadoop / Hive / HBase / Mahout

让hive使用derby的服务模式

hive默认使用的derby的嵌入模式。这个就面临着,无法多个并发hive shell共享的问题。

使用MySQL服务器也可以解决问题,但安装、配置太麻烦了。

可以使用轻量级的derby的c/s服务模式解决问题。

1、下载、配置derby

首先,从apache下载derby的最新版。
wget http://apache.mirrors.pair.com//db/derby/db-derby-10.10.1.1/db-derby-10.10.1.1-bin.tar.gz[......]

继续阅读

[转 ]Hadoop - How to do a secondary sort on values ?

关于在hadoop中,如何让reduce阶段同一个key下的values有序,一篇很好的文章,写的比《Hadoop权威指南》清楚!

转载自:

http://www.bigdataspeak.com/2013/02/hadoop-how-to-do-secondary-sort-on_25.html

The problem at hand here is that you need to work upon a sorted values set in your reducer.[......]

继续阅读