求助hadoop2.X分布式搭建两个NameNode均无法正常启动

2025-02-18 02:52:40
推荐回答(1个)
回答1:

环境要求 1 需要安装JDK6.0以上版本(可自行解压安装或使用自带的软件安装包,如yum) 2 需要无密码登录的SSH环境(安装ssh及sshd,具体配置步骤在后面介绍) END 安装/配置 步骤 1 配置hosts文件,将主机名和对应IP地址映射。如图中Master、Slave1和Slave2是我们要搭建分布式环境的机器。Master为主机,Slavex为从机。 2 配置SSH的无密码登录:可新建专用用户hadoop进行操作,cd命令进入所属目录下,输入以下指令(已安装ssh) ssh-keygen -t rsa -P "" cat .ssh/id_rsa.pub >>.ssh/authorized_keys 解释一下,第一条生成ssh密码的命令,-t 参数表示生成算法,有rsa和dsa两种;-P表示使用的密码,这里使用“”空字符串表示无密码。 第二条命令将生成的密钥写入authorized_keys文件。 这时输入 ssh localhost,弹出写入提示后回车,便可无密码登录本机。同理,将authorized_keys文件 通过 scp命令拷贝到其它主机相同目录下,则可无密码登录其它机器。 安装hadoop:安装方式很简单,下载安装包到所属目录下,使用 tar -zxvf 安装包名 进行解压,解压完毕可通过mv 命令重命名文件夹,安装至此完成。解压后的目录内容如图所示。 hadoop配置过程:要实现分布式环境,配置过程是最为重要的, 这里要涉及到的配置文件有7个: ~/hadoop/etc/hadoop/hadoop-env.sh ~/hadoop/etc/hadoop/yarn-env.sh ~/hadoop/etc/hadoop/slaves ~/hadoop/etc/hadoop/core-site.xml ~/hadoop/etc/hadoop/hdfs-site.xml ~/hadoop/etc/hadoop/mapred-site.xml ~/hadoop/etc/hadoop/yarn-site.xml 之后会分别介绍各个配置的的作用和配置关键 配置文件1:hadoop-env.sh 该文件是hadoop运行基本环境的配置,需要修改的为java虚拟机的位置。 故在该文件中修改JAVA_HOME值为本机安装位置(如,export JAVA_HOME=/usr/lib/jvm/java-1.7.0) 配置文件2:yarn-env.sh 该文件是yarn框架运行环境的配置,同样需要修改java虚拟机的位置。 在该文件中修改JAVA_HOME值为本机安装位置(如,export JAVA_HOME=/usr/lib/jvm/java-1.7.0) 配置文件3:slaves 该文件里面保存所有slave节点的信息,以本篇为例 写入以下内容(hosts里从机的主机名): Slave1 Slave2 配置文件4:core-site.xml hadoop.tmp.dir /data/hadoop-${user.name} fs.default.name hdfs://Master:9000 这个是hadoop的核心配置文件,这里需要配置的就这两个属性,fs.default.name配置了hadoop的HDFS系统的命名,位置为主机的9000端口;hadoop.tmp.dir配置了hadoop的tmp目录的根位置。这里使用了一个文件系统中没有的位置,所以要先用mkdir命令新建一下。 配置文件5:hdfs-site.xml dfs.http.address Master:50070 dfs.namenode.secondary.http-addressMaster:50090 dfs.replication 1 这个是hdfs的配置文件,dfs.http.address配置了hdfs的http的访问位置;dfs.replication配置了文件块的副本数,一般不大于从机的个数。 配置文件6:mapred-site.xml mapred.job.tracker Master:9001 mapred.map.tasks 20 mapred.reduce.tasks 4 mapreduce.framework.name yarn mapreduce.jobhistory.addressMaster:10020 mapreduce.jobhistory.webapp.addressMaster:19888 这个是mapreduce任务的配置,由于hadoop2.x使用了yarn框架,所以要实现分布式部署,必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数,至于什么是map和reduce,可参考其它资料进行了解。 其它属性为一些进程的端口配置,均配在主机下。 配置文件7:yarn-site.xml yarn.resourcemanager.address Master:8032 yarn.resourcemanager.scheduler.address Master:8030 yarn.resourcemanager.webapp.address Master:8088 yarn.resourcemanager.resource-tracker.addressMaster:8031 yarn.resourcemanager.admin.addressMaster:8033 yarn.nodemanager.aux-servicesmapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler 该文件为yarn框架的配置,主要是一些任务的启动位置 将配置好的hadoop复制到其他节点 scp –r ~/hadoop hadoop@Slave1:~/ scp –r ~/hadoop hadoop@Slave2:~/