博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop之安装
阅读量:4327 次
发布时间:2019-06-06

本文共 2976 字,大约阅读时间需要 9 分钟。

1.hadoop的伪分布安装(采用Host-only模式)

  1.1 设置ip地址

      1.1.1设置宿主机的VirtualBox Host-only Network网路设置

            IP地址:192.168.56.1

        子网掩码:255.255.255.0

        默认网关:不填

   1.1.2设置VirtualBox虚拟机的网路连接

      网卡1:启用网路连接

      连接方式:仅主机(Host-Only)适配器

      高级:保持默认

   1.1.3启动linux系统,(使用centos6.4),以root用户登录

      设置IP地址IPv4 Settings

      Method:Manual

      Address:192.168.56.100(必须与宿主机在同一网段)

      Netmask:255.255.255.0

      Gateway:192.168.56.1(此处必须与宿主机的VirtualBox Ip地址一样)

 

      执行命令 service network restart

      验证: ifconfig

      测试:宿主机可ping通linux,linux不可以ping通宿主机(Host-Only的安全机制)

    1.2 关闭防火墙 

     执行命令 service iptables stop

     验证: service iptables status

  1.3 关闭防火墙的自动运行

     执行命令 chkconfig iptables off

     验证 chkconfig --list | grep iptables

  1.4 设置主机名

     (1)hostname hadoop

     (2)vi /etc/sysconfig/network

        修改HOSTNAME=hadoop

     (3)重启 reboot -h now 发现hostname已经改变

  1.5 ip与hostname绑定

      执行命令:vi /etc/hosts

      增加一行:192.168.56.100 hadoop

      验证:ping hadoop

  1.6 设置ssh免密码登录

     执行命令 (1)ssh-keygen -t rsa

     (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

     验证:ssh hadoop 和ssh localhost

     再次ssh hadoop将不用再使用密码

///linux设置完毕/

  1.7 安装jdk

     执行命令:

     (1)cd /usr/local 安装包在此目录下

     (2)rm -rf /usr/local/* 删除此目录下所有文件,没有用

     (3)chmod u+x jdk-6u24-linux-i586.bin

     (4)./jdk-6u24-linux-i586.bin

     (5)mv jdk1.6.0_24  jdk

     (6)vi /etc/profile 增加内容如下:

        export JAVA_HOME=/usr/local/jdk

        export PATH=.:$JAVA_HOME/bin:$PATH

     (7)source /etc/profile

     (8)验证 java -version 

  1.8 安装hadoop

     (1)tar -zxvf hadoop-1.1.2.tar.gz

     (2)mv hadoop-1.1.2 hadoop

     (3)vi /etc/profile 增加内容如下:

        export JAVA_HOME=/usr/local/jdk

        export HADOOP_HOME=/usr/local/hadoop

        export HADOOP_HOME_WARN_SUPPRESS=1  #去除警告

        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

     (4)source /etc/profile

     (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

      注意主机名的更换

  5-1:hadoop-env.sh

   export JAVA_HOME=/usr/local/jdk #第9行

  5-2:core-site.xml

   <configuration>

    <property>

            <name>fs.default.name</name>

            <value>hdfs://hadoop:9000</value>

        </property>

        <property>

            <name>hadoop.tmp.dir</name>

            <value>/usr/local/hadoop/tmp</value>

        </property>

   </configuration>

  5-3:hdfs-site.xml

   <configuration>

        <property>

            <name>dfs.replication</name>

            <value>1</value>

        </property>

        <property>

            <name>dfs.permissions</name>

            <value>false</value>

        </property>

   </configuration>

  5-4:mapred-site.xml

   <configuration>

        <property>

            <name>mapred.job.tracker</name>

            <value>hadoop:9001</value>

        </property>

   </configuration>

 (6)hadoop namenode -format

 (7)start-all.sh #启动hadoop

 验证:jps 五个java进程

 namenode,secondarynamenode,jobtracker,datanode,tasktracker

 

1.9 启动时没有NameNode的可能原因:

 (1)没有格式化

 (2)环境变量设置错误

 (3)ip与hostname绑定失败

1.10 web

 hadoop:50070 hdfs界面

 hadoop:50030 jobtracker M-R界面

 

1.11 hadoop dfs -mkdir /user/root

     hadoop dfs -ls 默认查找/user/root目录,若没有提示no such directory

 

 

 

-------------------------伪分布模式安装完毕---------------------------------------------------------

 

 

转载于:https://www.cnblogs.com/lulu638/p/3823033.html

你可能感兴趣的文章
小D课堂 - 新版本微服务springcloud+Docker教程_1_02技术选型
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_汇总
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_2_01传统架构演进到分布式架构
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_2_02 微服务核心基础讲解
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_2_04微服务下电商项目基础模块设计...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-01 什么是微服务的注册中心
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-03CAP原理、常见面试题
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-04 SpringCloud微服务核心组件Eureka介绍和闭源后影响...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-05 服务注册和发现Eureka Server搭建实战...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-06 服务注册和发现之Eureka Client搭建商品服务实战...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_3-07 Eureka服务注册中心配置控制台问题处理...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-01 常用的服务间调用方式讲解
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-02 微服务调用方式之ribbon实战 订单调用商品服务...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-03 高级篇幅之Ribbon负载均衡源码分析实战...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-06 Feign核心源码解读和服务调用方式ribbon和Feign选择...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_4-05 微服务调用方式之feign 实战 订单调用商品服务...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-02 Netflix开源组件断路器
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-01分布式核心知识之熔断、降级
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-04 feign结合hystrix断路器开发实战下...
查看>>
小D课堂 - 新版本微服务springcloud+Docker教程_5-03 feign结合hystrix断路器开发实战上...
查看>>