硬件配置
处理器： 2个四核2-2.5GHz的CPU
内存： 16-24GB
存储器：4 * 2TB SATA硬盘（不需要RAID）
网络： 千兆以太网
软件配置
操作系统： 发型版的
64位
linux（CentOS, Ubuntu, Redhat）
Hadoop版本： 免费的有Apache, CDH，付费的有华为，EMC，INTEL的
JDK: 64位的jdk， 32最大只能支持3G内存
淘宝的hadoop集群规模
1700个节点，数据总量17PB，每天增长20TB， 每天的MR任务有4万个
Master节点包括Jobtracker, Namenode, SecondNamenode
硬件配置： 16CPU*4核， 96G内存
Slave节点包括Tasktracker和Datanode
硬件配置： 8~16CPU*4核，16~24G内存
网络的拓扑结构
版权声明：本文为spring8743原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。