快速业务通道

ubuntu下hadoop的部署

作者 佚名技术 来源 Linux系统 浏览 发布时间 2012-04-17
_rsa

  -rw-r--r-- 1 root root 221 Apr 25 17:51 id_rsa.pub

  -rw-r--r-- 1 root root 442 Apr 25 17:37 known_hosts

  id_rsa是密钥文件,id_rsa.pub是公钥文件.

  [root@codfei .ssh]# scp id_rsa.pub192.168.1.4:/root/.ssh/192.168.1.6

  root@192.168.1.4''s password:

  id_rsa.pub 100% 221 0.2KB/s 00:00

  这里把公钥文件取名为本机的ip地址就是为了以后和更多的机器建立信任关系不发生混淆.

  现在登陆到192.168.1.4机器

  [root@codfei ~]# cd .ssh/

  [root@codfei .ssh]# cat 192.168.1.6 >> authorized_keys

  然后回到192.168.1.6机器直接

  [root@codfei .ssh]# ssh 192.168.1.4

  Last login: Wed Aug 8 12:14:42 2007 from 192.168.1.6

  这样就可以了,里面偶尔涉及到权限问题.一般./ssh文件夹是755 authorized_keys为600或者644 拥有帝国一切,皆有可能。欢迎访问phome.net

  *************************

  ****************************************************

  3.关闭防火墙

  sa@sa:~$ sudo ufw disable

  防火墙在系统启动时自动禁用

  ****************************************************

  4安装JDK,hadoop

  分别到官网下载tar.gz文件,解压缩至sa文件夹下.两台机子文件目录保持一样,以免不必要都麻烦.我都机器分别下载的是jdk.1.6.0_21和hadoop-0.20.2.

  之后将下列语句添加至etc/profile文件中:

  export JAVA_HOME=/home/sa/jdk1.6.0_21

  export JRE_HOME=/home/sa/jdk1.6.0_21/jre

  export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

  export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

  export HADOOP_HOME=/home/sa/hadoop-0.20.2

  export PATH=$HADOOP_HOME/bin:$PATH

  /*

  改完之后进行测试,参考http://blog.csdn.net/wh62592855/archive/2010/07/14/5733130.aspx

  1.java -version查看版本号.

  sa@sa:/etc$ java -version

  java version "1.6.0_21"

  Java(TM) SE Runtime Environment (build 1.6.0_21-b06)

  Java HotSpot(TM) Server VM (build 17.0-b16, mixed mode)

  2.运行java程序

  在/home/sa下建立一个hello.java都文件,输入以下内容:

  public class hello

  {

  public static void main(String args [ ])

  {

  System.out.println("Hello World!");

  System.out.println("看到这些代表安装成功啦!");

  System.out.println("2005/9/5");

  }

  }

  3.编译:javac hello.java

  4.执行:java hello

  sa@sa:~$ javac hello.java

  sa@sa:~$ java hello

  Hello World! 看到这些代表安装成功啦!

  2005/9/5

  ****************************************************

  5.配置hadoop

  此处参考www.hadoopor.com网站制作的《Hadoop 开发者入门专刊》

  以下是我针对自己都机器做的工作:

  ***************************

  hadoop 的主要配置都在 hadoop-0.20.2/conf 下.

  (1)在 conf/hadoop-env.sh 中配置 Java 环境(namenode 与 datanode 的都做): 拥有帝国一切,皆有可能。欢迎访问phome.net

  $ gedit hadoop-env.sh

  $ export JAVA_HOME=/home/sa/jdk1.6.0_21

  (2)配置 conf/masters 和 conf/slaves 文件:

  masters: sa(只在 namenode 上配置)

  slaves:(namenode 与 datanode 的都做)

  ubuntu

  (3)配置 conf/core-site.xml, conf/hdfs-site.xml 及 conf/mapre

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务,公司网站:http://www.lingzhong.cn 为了给广大客户了解更多的技术信息,本技术文章收集来源于网络,凌众科技尊重文章作者的版权,如果有涉及你的版权有必要删除你的文章,请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息,谢谢!

分享到: 更多

Copyright ©1999-2011 厦门凌众科技有限公司 厦门优通互联科技开发有限公司 All rights reserved

地址(ADD):厦门软件园二期望海路63号701E(东南融通旁) 邮编(ZIP):361008

电话:0592-5908028 传真:0592-5908039 咨询信箱:web@lingzhong.cn 咨询OICQ:173723134

《中华人民共和国增值电信业务经营许可证》闽B2-20100024  ICP备案:闽ICP备05037997号