集群环境介绍:
hadoop2.4.1 64位
6台服务器:
hadoop11 NameNode 、SecondaryNameNode
hadoop22 ResourceManager
hadoop33 DataNode、NodeManager
hadoop44 DataNode、NodeManager
hadoop55 DataNode、NodeManager
hadoop66 DataNode、NodeManager
实验1:训练集train.txt样例个数为245057(3.24M) 测试集test.txt样例个数为51444(640kb),并将全部测试集都存放在test.txt中
[root@hadoop11 local]# hadoop fs -lsr /dir6/
-rw-r--r-- 3 root supergroup 3400816 2016-07-17 19:28 /dir6/test.txt
注意:此时所有的测试集都在一个文本中(test.txt)存放,作为输入路径