转载自：http://yangguan.org/mapreduce-patterns-algorithms-and-use-cases/

翻译自：http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/

在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Red[......]

继续阅读

本来是要用Hadoop给柯西搜索写一下锚文本聚集。但是发现上个版本的爬虫居然没有存锚文本，实在无聊，写了个统计域名（实际是host）的计数器。

输入：一行一个url
流程：提取url的domain，对domain计数+1
输出：域名，域名计数

这次完全用新的API写的。

代码如下：

Mapper
package com.keseek.hadoop;

import java.io.IOException;
import java.net.URI;

imp[......]

继续阅读