转载自：http://kernel-panik.blogspot.com/2013/05/force-udf-execution-to-happen-in-hive.html
Doing quick and dirty URL fetch from hive, I wanted for URL"s to be ditributed among 5 jobs. Input is small it's very hard to tune up on mapper side things to[......]
在昨天的文章 TimSort in Java 7 中，我们讨论了升级到JDK 7后，Collection的sort方法，出现兼容性问题的原因。
究其根本，还是我们写的compare函数不够严谨。
本文主要针对Hadoop、Hive，从系统的部署、配置层面提出一些解法。
1、Hive
在执行前，指定JVM选项。
set mapreduce.map.java.opts=-Xmx2000m -Djava.util.Arrays.useLegacyMergeSort=true[......]
有的时候，使用Hadoop Streaming比写Map、Reduce要轻量一些。但是由一些坑要注意。
例如，使用SequenceFile、指定分隔符等等。
hadoop jar /path/hadoop-xxxx-streaming.jar \
-D mapred.reduce.tasks=100 \
-input path/xxx \
-output path/yyy \
-file ./dna.[......]
RT，在Hive中，使用了Group By后，是无法再sort，再取Top K的，我们可以用UDF + distributed by + sort by 实现这个功能。
参考自：EXTRACT TOP N RECORDS IN EACH GROUP IN HADOOP/HIVE
Assume you have a table with three columns: user, category and value. For each user, you want to select[......]
数据、例子，修改自：《Hive with Python example》
首先来看一下数据：
hive> select * from test;
OK
1 3
2 2
3 1
假设，我们要输出每一列的md5值。在目前的hive中是没有这个udf的。
我们看一下Python的代码：
#!/home/tops/bin/python
import sys
import hashlib
for line in sys.st[......]