今天终于在集群上测试了自己的毕业实验,遂将过程记录一下,以防后期用到。

整体步骤

- 在IntelliJ中打包程序,形成jar包

- 在集群master上submit程序运行

遇到的问题

上次集群环境是正常的,今天启动的时候,又遇到bug了,同样是ssh无密码访问问题。因为校园网动态ip的问题,关机重启之后,ip会有变化,所以之前在/etc/hosts 设置的ip地址需要更新,同时密钥需要重新生成。

解决方法:一不做二不休,将所有机器的~/.ssh下的所有文件删除,重新生成新的,按照之前配置集群相同的步骤执行。

但是过程中遇到了下面的问题:

1
Agent admitted failure to sign using the key

解决方法:在shell中执行ssh-add命令

第三个问题是:启动hadoop的时候,没有datanode;查看了hadoop日志,发现是因为namenode和datanode的不一致性引起的。
查看hadoop目录下的dfs/data/current/VERSION中的clusterIDdfs/name/current/VERSION中的clusterID 是否一致,确保一致即可。
重新启动hadoop就会发现datanode出现了。

步骤一:IntelliJ为应用打jar包

File –> Project Settings –> Artifacts –> Jar –> From module with Dependencies –> OK
可以将scala和hadoop的依赖文件去掉,降低包大小。

Build –> Build Artifact –> Build
会在out/artifact目录下生成.jar文件

步骤二:集群上运行

spark对于输入数据默认是从hdfs上读取,所以我们先将数据放到hdfs上。进入到hadoop安装目录下

1
2
3
4
5
6
7
8
9
10
11
# 新建文件夹放置输入数据
./bin/hadoop fs -mkdir input

# 新建文件夹放置输出结果
./bin/hadoop fs -mkdir output

# 上传文件到input文件夹中
./bin/hadoop fs -put ~/spark-app/**.txt input/

# 将结果下载到本地
./bin/hadoop fs -copyToLocal output/ LocalFile

调用submit命令执行代码,进入到spark安装目录

1
2
3
4
5
./bin/spark-submit \
--class AttributeReduction \ #打包的时候选择的主类
--master spark://master:7077 \ #采用standalone集群模式
~/spark-app/AttributeReduction.jar \ #jar所在位置
input/**.txt output/output_** #程序需要的参数

按回车运行,查看结果先将其从hdfs拷贝到本地。

相关文章
评论
分享
  • T Bill vs T Notes vs T Bonds

    T 指的是 Treasury, 国债,债券发行机构为美国中央政府(federal government),为了解决政府日常运营所需资金的问题,例如遇到财政赤字时,不仅可以通过增加税收的方式,也可以通过发债的方式解决政府资金短缺。 美...

    T Bill vs T Notes vs T Bonds
  • 加德满都/巴德岗4日游--最幸福的地区

    时间:20190605-20190608; 从广州乘坐飞机直达加德满都,4个小时。 飞机上可以远远看到珠峰 加德满都海拔1340米左右,比北京晚2小时15分 D1: 加德满都泰米尔到达加德满都机场(标记1)为当地时间11点左右。订的酒...

    加德满都/巴德岗4日游--最幸福的地区
  • I graduated from Nanjing Normal University, majoring in computer science and technology. Now I am applying for Master...

  • 身份信息泄露,南京警方让回户籍所在地报警,户籍所在地警方让去支付宝所在的派出所报警,我到底该去哪里报警??为什么求助那么困难??

    本人南京市溧水区石湫镇人,南京大学毕业,目前香港工作。前段时间遇到一件特别心塞的事情,身份信息被盗,总计盗款38000元左右,已报警,不立案。报警过程更加心塞。 事情大概是这样的: 身份被盗:我的身份证号码(未丢失)+银行卡号码(...

    身份信息泄露,南京警方让回户籍所在地报警,户籍所在地警方让去支付宝所在的派出所报警,我到底该去哪里报警??为什么求助那么困难??
  • 美西之行七 Bryce Canyon

    美西之行七 Bryce Canyon今天前往Bryce Canyon。 路上的视野很开阔,颜色也较之前变得小清新了一些。 看到一辆RV车,载着一家随处转悠 可爱的大叔主动配合照相 马场 小木屋 到达Bryce Canyon 又开始浓...

    美西之行七 Bryce Canyon
  • 美西之旅六 Arches Canyon

    美西之旅六 Arches Canyon离开blanding之后,驱车前往Arches Canyon,中文名为拱石国家公园。 沿途的颜色开始变成橙黄 路上碰到一只被撞死的小鹿,身体还是温热的。这在西部是经常发生的事情 晚上住在一个叫...

    美西之旅六 Arches Canyon
  • 美西之旅五大峡谷到Blanding

    美西之旅 Grand Canyon –> Blanding小镇 离开Page之后,计划去羚羊谷,但是去羚羊谷要经过一片私人领地,造成景区价格偏高,朋友说他之前去过并没有网上照片拍的那么美,同时我们也要赶路,所以决定不再进入羚羊...

    美西之旅五大峡谷到Blanding
  • 美西之旅四大峡谷

    美西之旅 大峡谷(Grand Canyon)进入国家公园第一站--大峡谷。 大峡谷模拟图 我们直接坐蓝线到底,之后一站一个景点下来走 大峡谷 光影倒映在山谷,为其增添新色彩 走走走,拍拍拍 逛完南峡谷,准备驱车进入北峡谷。 北峡谷入...

    美西之旅四大峡谷
  • 美西之旅三 拉斯维加斯到大峡谷

    美西之旅 拉斯维加斯->大峡谷 离开Vegas之后,我们驱车前往Grand Canyon大峡谷。Vegas外围的民宅,沙漠中的家园。每家每户门前都栽种着一颗绿树,即使再荒凉,心中依然绿树成荫。 在去往大峡谷的中途会经过Hover...

    美西之旅三 拉斯维加斯到大峡谷
  • 美西之旅之拉斯维加斯

    美西之旅 洛杉矶->拉斯维加斯 早上9点多从洛杉矶出发,沿着15号公路向东北方向驶去,进入拉斯维加斯。从洛杉矶到拉斯维加斯大概4个小时车程,途中经过两个很大的OutLet,买买买忘了时间,大概到晚上12点多才到拉斯。原本计划只在...

    美西之旅之拉斯维加斯
Please check the comment setting in config.yml of hexo-theme-Annie!