Category Archives: Java

Java / J2EE / Spring

Hadoop小集群(5结点)测试

1、Map/Reduce任务
输入:
文件格式
id value
其中id是1~100之间的随机整数,value为1~100之间的随机浮点数。
输出:
每个id的最大value

生成这类文件,可以用python搞定,见本文末尾的附录。

2、Map/Reduce程序
这里就直接使用新(0.20.2)的API了,即org.apache.hadoop.mapreduce.*下的接口。
特别注意:
job.setNumReduceTasks(5)
指定了本Job的Redu[......]

继续阅读

[原创]Cassandra快速入门(0.6.12)

前言:本教程以Cassandra 0.6.12为例,简述单机配置及C++客户端的使用。
1、下载
目前支持c++接口的最新稳定版是0.6.12
wget http://apache.etoak.com//cassandra/0.6.12/apache-cassandra-0.6.12-bin.tar.gz
2、单机配置
cd apache-cassandra-0.6.12-bin
cd conf

#编辑配置文件,它包含了单机的基本配置
vim storage-conf.yam[......]

继续阅读