博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
java.lang.ClassNotFoundException: SparkPi$$anonfun$1
阅读量:6894 次
发布时间:2019-06-27

本文共 358 字,大约阅读时间需要 1 分钟。

出现这个错误可能有两种情况,Jar文件没有传上去,或者Build Path里面包含的Jar文件和Spark的运行环境有冲突。

对于第一种情况,需要在SparkConf语句后面加上Jar文件的路径:

val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://master:7077").setJars(Seq("E:\\Intellij\\Projects\\SparkExample\\SparkExample.jar"))

对于第二种情况,需要把Build Path里面的Jar文件删除,因为Spark运行环境已经有这些文件了,没必要再继续打包。删除以后,既减少了打包后文件的大小,同时也不会和Spark运行环境的Jar文件产生冲突。

 

转载地址:http://vukdl.baihongyu.com/

你可能感兴趣的文章
CKRule BRMS-决策表使用说明
查看>>
原型工具之团队协作: Axure VS Mockplus
查看>>
Nagios监控搭建
查看>>
幸运从阿谁时节开初(***篇)
查看>>
我的友情链接
查看>>
Centos 7 最简单 LAMP 搭建zabbix监控平台
查看>>
新媒体的变现:“小而美”的电子杂志
查看>>
【技术分享】PHPStress:PHP拒绝服务***(含PoC)
查看>>
DWR入门和学习
查看>>
App各种Icon及Launch image的尺寸和用途 移动端尺寸基础知识
查看>>
Vuex教程
查看>>
R连接数据库
查看>>
无备份的恢复
查看>>
eclipse access restriction
查看>>
讲清楚说明白openstack中vm流量走向之1——集中式网络节点
查看>>
XenApp / XenDesktop 7.6 初体验十 PVS 的安装
查看>>
详解B2B、B2C、C2B、C2C、O2O的含义及区别
查看>>
Nginx、Apache工作原理以及nginx为何比Apache高效
查看>>
Linux 如何实现 VLAN - 每天5分钟玩转 OpenStack(12)
查看>>
Java中代理简述
查看>>