做设计做网站,百度网盘搜索引擎盘多多,旺道智能seo系统,站长之家域名解析系列文章目录 提示#xff1a;这里可以添加系列文章的所有文章的目录#xff0c;目录需要自己手动添加 例如#xff1a;第一章 Python 机器学习入门之pandas的使用 提示#xff1a;写完文章后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 文章目…系列文章目录 提示这里可以添加系列文章的所有文章的目录目录需要自己手动添加 例如第一章 Python 机器学习入门之pandas的使用 提示写完文章后目录可以自动生成如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、创建hadoop用户二、安装SSH、配置SSH无密码登陆三、安装JDK二、Hadoop2.7.6下载、安装及配置1. 下载2. 安装过程如下3. Hadoop伪分布式配置 总结参考 前言
提示这里可以添加本文要记录的大概内容
例如随着人工智能的不断发展机器学习这门技术也越来越重要很多人都开启了学习机器学习本文就介绍了机器学习的基础内容。 提示本篇文章参考Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
一、创建hadoop用户
如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户那么需要增加一个名为 hadoop 的用户。
首先按 ctrlaltt 打开终端窗口输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash接着使用如下命令设置密码可简单设置为 hadoop按提示输入两次密码
sudo passwd hadoop可为 hadoop 用户增加管理员权限方便部署避免一些对新手来说比较棘手的权限问题
sudo adduser hadoop sudo最后注销当前用户点击屏幕右上角的齿轮选择注销返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。 更新apt
sudo apt-get update二、安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆类似于远程登陆你可以登录某台 Linux 主机并且在上面运行命令Ubuntu 默认已安装了 SSH client此外还需要安装 SSH server
sudo apt-get install openssh-server安装后可以使用如下命令登陆本机
ssh localhost此时会有如下提示(SSH首次登陆提示)输入 yes 。然后按提示输入密码 hadoop这样就登陆到本机了。
但这样登陆是需要每次输入密码的我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh就回到了我们原先的终端窗口然后利用 ssh-keygen 生成密钥并将密钥加入到授权中
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示都按回车就可以
cat ./id_rsa.pub ./authorized_keys # 加入授权CRT连接虚拟机Ubuntu
三、安装JDK 在安装oracle的jdk之前我们需要先将Linux自带的openjdk卸载掉因为自带的jdk不太好用此处可也参考文章在ubuntu16.04上卸载openjdk8安装oracle的jdk8卸载 下载jdk-8u161-linux-x64压缩包 官方下载链接https://www.oracle.com/rs/java/technologies/javase/javase8-archive-downloads.html 但需要去oracle官网注册一个帐号才能下载。 提供百度网盘下载。 在Ubuntu下打开终端输入一下命令
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads #注意区分大小写字母刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u161-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下设置环境变量
sudo gedit ~/.bashrc在这个文件的末尾添加如下几行内容
export JAVA_HOME/usr/lib/jvm/jdk1.8.0_161
export JRE_HOME${JAVA_HOME}/jre
export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH${JAVA_HOME}/bin:$PATH保存.bashrc文件并退出gedit编辑器。然后继续执行如下命令让.bashrc文件的配置立即生效 sudo source ~/.bashrc //使得环境变量文件生效查看是否安装成功
java -version出现java版本说明JDK配置成功。接下来安装Hadoop
二、Hadoop2.7.6下载、安装及配置
1. 下载
官网下载 官网下载速度太慢可以从百度网盘下载
2. 安装过程如下
找到hadoop-2.7.6.tar包的位置解压到/usr/local位置下
sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限解压之后进入配置文件
vim ~/.bashrc在配置文件中输入
export HADOOP_HOME/usr/local/hadoop-2.7.6
export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:退出后使配置文件生效
source ~/.bashrc查看hadoop是否成功
hadoop version3. Hadoop伪分布式配置
可以参考ubuntu16.04Hadoop伪分布模式环境搭建
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)将当中的
configuration
/configuration修改为
configurationpropertynamehadoop.tmp.dir/namevaluefile:/usr/local/hadoop/tmp/valuedescriptionAbase for other temporary directories./description/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration同样的修改配置文件 hdfs-site.xml
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/data/value/property
/configuration配置完成后执行 NameNode 的格式化:
cd /usr/local/hadoop
./bin/hdfs namenode -format成功的话会看到 “successfully formatted” 的提示具体返回信息类似如下 接着开启 NameNode 和 DataNode 守护进程
cd /usr/local/hadoop
./sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件中间没有空格若出现如下SSH提示输入yes即可。 如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误则说明之前设置 JAVA_HOME 环境变量那边就没设置好到hadoop的安装目录修改配置文件
gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh在里面找到“export JAVA_HOME${JAVA_HOME}”这行然后把它修改成JAVA安装路径的具体地址比如
export JAVA_HOME/usr/lib/jvm/jdk1.8.0_161然后再次启动Hadoop。 启动完成后可以通过命令 jps 来判断是否成功启动
如果出以下错误 Starting namenodes on [localhost] localhost: mkdir: 无法创建目录/usr/local/hadoop-2.7.6/logs: 权限不够 localhost: chown: 无法访问’/usr/local/hadoop-2.7.6/logs’: 没有那个文件或目录 localhost: starting namenode, logging to /usr/local/hadoop-2.7.6/logs/hadoop-rick-namenode-rick-virtual-machine.out 这是因为hadoop-2.7.6这个文件没有权限需要执行下面的命令
sudo chmod 777 /usr/local/hadoop-2.7.6总结
提示这里对文章进行总结
例如以上就是今天要讲的内容本文仅仅简单介绍了pandas的使用而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
参考
Ubuntu安装JDK教程在ubuntu16.04上卸载openjdk8安装oracle的jdk8Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)ubuntu16.04Hadoop伪分布模式环境搭建UBuntu linux 安装hadoop 中到一些问题Ubuntu下配置Hadoop2.7.6
