Category Archives: 大数据技术

Hadoop / Hive / HBase / Mahout

HBase伪集群配置

与Hadoop一样,HBase也有三种运行模式:Standalone, Distributed, Pseudo-distributed。

其中,Pseudo-distributed称为伪集群模式,与Distributed基本一样,只不过进程都运行在一台机器上。

1、对HDFS配置伪集群模式。

见:Hadoop伪集群测试 与 Hadoop集群配置详细版

2、配置HBase

hbase-site.xml
<?xml version="1.0"[......]

继续阅读

[转]Eclipse智能提示

转载自:http://www.cnblogs.com/myitm/archive/2010/12/17/1909194.html

注意:最新的Eclipse上,已经没有4个字母的限制了!

今天有点时间,研究了一下MyEclispse的智能感知的功能。刚开始使用它时总是感觉如此不爽→智能感知功能太弱!与Visual Studio2008简直不是一个档次的!不过后来经过查看网上的资料发现它也并非如此的弱,就在上周我自己玩弄它时就发现可以通过如下设置来修改它的智 能感知的提示时间:[......]

继续阅读

[转载]MapReduce的模式、算法和用例

转载自:http://yangguan.org/mapreduce-patterns-algorithms-and-use-cases/

翻译自:http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/

在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Red[......]

继续阅读

[转]ZooKeeper典型应用场景一览

转载自:http://rdc.taobao.com/team/jm/archives/1232

这篇文章写的非常贴近实际,比官方好!

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。

值得注意的是,ZK并非天生就是为这些应用[......]

继续阅读