Windows10下Linux子系统Ubuntu的JDK环境、Hadoop环境配置以及Scala安装中出现的问题
安装前提:
平台:Windows10电脑,预先下载好的Ubuntu子系统,不会下载的见教程:
Windows10使用Linux子系统
这里我使用的是Ubuntu18.04.2
我们要开始学习大数据的相关内容,老师要求我们自行安装好Linux系统下的Scala软件并且配置好它所需要的JDK 环境和Hadoop环境。这里我主要参考了林子雨老师的安装教程,不得不说,林老师的安装教程太太太太太赞了!感谢林老师!
附上林子雨老师的安装链接:spark2.1.0入门:spark的安装与使用
Hadoop安装教程
注:链接的安装教程中老师已经给出他提供的百度网盘资源,包含这次教程所需要的全部安装文件,大家不必费心去找,再次感谢林子雨老师(太感动了)!
选择Windows下Linux子系统的优点:没有虚拟机+Ubuntu镜像文件配置那么繁琐,就Scala的学习还是够用的;
但是据我下载了VirtualBox并且安装完Ubuntu系统的室友说,按照林子雨老师的教程安装这两者也没出现多大问题,想要安装VirtualBox的同学也可一试。
教程中的步骤已经很完备,下面我主要说说我在安装过程中出现的问题:
- 关于hadoop用户的创建之后的登陆
由于Windows下的Ubuntu是没有登陆界面的,所以你可以选择在命令行中输入以下命令:
su -l hadoop
接着就会提示让你输入密码,你输入密码即可登陆hadoop用户 - 安装ssh(重头戏来了)
Windows下的Ubuntu系统其实已经默认安装好了老师教程中的openssh-server,因此你在执行完sudo apt-get install openssh-server
命令之后,它会出现一段描述,大致意思就是你已经安装过了;接着你输入ssh localhost
,发现出现了下面这个问题:
## 解决方法一:
不用着急,这可能是你的ssh服务没有打开,再尝试输入命令sudo service ssh start
开启ssh服务,顺利的话,可能会出现以下提示:
再次输入ssh localhost
命令,将出现下面界面:
## 解决方法二:先卸载它自己装的openssh-server,然后按照教程再重新下载一个openssh-server ,接下来都按教程操作;
在这里小编出现了一个疑问:我安装的时候并没有出现ssh首次登陆提示,但我以前从没有登陆过ssh。并且我用hadoop用户第一次登陆的时候也没有出现要输入密码的情况,有点奇奇怪怪……
- 安装Java环境时,不知道怎么样把在Windows下下载的jdk解压到Ubuntu中去:(这里我选择的是手动安装的方式)
解决方法:其实很简单,输入命令cd /mnt
(cd与/mnt中间有空格)就可以进入Windows下的目录,然后参考老师给出的命令,即可将jdk解压到Ubuntu的/usr/lib目录中
用spark的压缩包解压过程来举个例子:(因为我的jdk已经装完了找不到截图了……)
解压之前,我们先进入你存放jdk文件的那个目录,我的放在D盘,因此我进入/mnt/d中,按照老师给的命令:sudo tar -zxf 要解压的文件的名字 -C 解压后放入的目录路径
- 注意:我没有配置ssh自动登陆,因此每次进入hadoop用户登陆ssh之前,我们需要先将ssh服务打开才能进行登陆,如果觉得麻烦可以参考截图来自博客Windows10Linux子系统配置ssh
接下来按照教程,我的spark安装没有出现什么问题,附上spark安装成功之后的运行截图
室友说,这个spark的LOGO看起来好酷好高级啊!
嘿嘿嘿,我也这么觉得。
花了不少时间的这个环境安装终于安装好啦,开心!Windows下的Ubuntu在我现在这个阶段还是实用的(要是不实用我也感觉不出来)。
有问题请在评论中提出,说不定我们还可以一起讨论一下。
最后首尾呼应一下,再次感谢林子雨老师!我们爱您!