林子雨hadoop安装教程,hadoop如何安装

hadoop安装教程

admin@Hadoop：~这说明已经安装成功，第一次登录时会询问你是否继续链接，输入yes即可进入。

解压下载的hadoop安装包，并修改配置文件。我的解压目录是（/home/hadoop/hadoop-1），即进入/home/hadoop/文件夹下执行下面的解压缩命令。

labs.xiaonei./apache-mirror/hadoop/core/hadoop-0.1/hadoop-0.tar.gz ：labs.xiaonei./apache-mirror/hadoop/ 硬体环境 共有3台机器，均使用的CentOS，Java使用的是jdk0。

进入Linux系统，参照本教程官网“实验指南”栏目的“Hadoop的安装和使用”，完成Hadoop伪分布式模式的安装。完成Hadoop的安装以后，再安装Spark（Local模式）。

本次是在VM12虚拟机中实现Cent OS 64 的安装以及配置，后续还会有Hadoop的安装配置教程，我们先来进行第一步。

hadoop-mapreduce-client-core-0-12jar hadoop-yarn-api-0-12jar 其实就是hadoop相关的，然后就可以了。

Hadoop安装

1、选择一般有两种：/usr/local和家目录下。我选择安装在家目录下，因为开始玩hadoop的时候，这样避免了权限的麻烦；如果要部署应用的话，应该安装在/usr/local。配置文件的问题 这是安装hadoop最重要的步骤。

2、如果都能查看，说明安装成功。一： 查看HDFS是否正常启动。在浏览器中输入http：//localhost：50070 此页面为Hadoop HDFS管理的界面。点击Live Nodes 进入下图。上图表示，活动的节点为1个。

3、——使用docker拉取官方Ubuntu镜像，将单机安装好hadoop，然后做成image，再跑多个容器做集群。但有人建议不要把本地运行的容器转成镜像！——使用阿里hadoop镜像创建hadoop容器，分别创建三个节点master、slaveslave2。

4、掌握在Linux虚拟机中安装Hadoop和Spark的方法，熟悉HDFS的基本使用方法，掌握使用Spark访问本地文件和HDFS文件的方法。进入Linux系统，参照本教程官网“实验指南”栏目的“Hadoop的安装和使用”，完成Hadoop伪分布式模式的安装。

安装Hadoop1.0.4伪分布式的方法

1、选择一般有两种：/usr/local和家目录下。我选择安装在家目录下，因为开始玩hadoop的时候，这样避免了权限的麻烦；如果要部署应用的话，应该安装在/usr/local。配置文件的问题 这是安装hadoop最重要的步骤。

2、完全分布式—— 真正的分布式，由3个及以上的实体机或者虚拟机组成的机群。一个Hadoop集群环境中，NameNode，SecondaryName和DataNode是需要分配在不同的节点上，也就需要三台服务器。

3、Hadoop 伪分布式模式是在一台机器上模拟Hadoop分布式，单机上的分布式并不是真正的分布式，而是使用线程模拟的分布式。

4、掌握在Linux虚拟机中安装Hadoop和Spark的方法，熟悉HDFS的基本使用方法，掌握使用Spark访问本地文件和HDFS文件的方法。进入Linux系统，参照本教程官网“实验指南”栏目的“Hadoop的安装和使用”，完成Hadoop伪分布式模式的安装。

5、对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分布式中salve为localhost（即为自身），所以对于伪分布式Hadoop，SSH一样是必须的。