Hadoop集群部署实例

由于工作需要,最近一段时间开始接触学习 Hadoop 相关的东西,目前公司的实时任务和离线任务都跑在一个 Hadoop 集群,离线 任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一个集群用于跑离线任务,计算节点和 储存节点分离,计算节点结合 aws 的 Auto Scaling(自动扩容、缩容服务)以及竞价实例,动态调整,在跑任务的时候拉起一批实 例,任务跑完就自动释放掉服务器,本文记录下 Hadoop 集群的搭建过程,方便自己日后查看,也希望能帮到初学者,本文所有软 件都是通过 yum 安装,大家也可以下载相应的二进制文件进行安装,使用哪种方式安装,从属个