博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark一些入门资料
阅读量:6422 次
发布时间:2019-06-23

本文共 1673 字,大约阅读时间需要 5 分钟。

spark一些入门资料

A Scala Tutorial for Java Programmers

 

学习资源(视频教程,书,样例等)

 

入门指南

 

编程指南

spark.apache.org/docs/latest/programming-guide.html

 

官网自带样例(极好,有local版。有spark版)

 

运行spark应用(利用spark-submit命令。事实上最底层是java调用)

spark.apache.org/docs/latest/submitting-applications.html

./spark-submit --class"SimpleApp" --master local[4] /home/linger/scala_target/SimpleApp.jar

 

运行官网自带的example能够利用run-example。该脚本封装了spark-submit命令。

 

run-example脚本有这么一句 EXAMPLE_MASTER=${MASTER:-"local[*]"}默认master是local[*]。

依据这句shell,能够有一个方法改变着master。

在调用该脚本之前,export MASTER=local(或者其它)。

眼下不知道是否还有其它方法传递MASTER这个变量。

 

 

spark 开发环境搭建(不错)

 

设置完毕后,Error视图报错。说Eclipse依赖的Scala库有两份,一个是系统安装的Scala(C:\Scala_2.11.4,一个是spark-assembly-1.2.0-hadoop2.4.0.jar中,而spark-assembly-1.2.0-hadoop2.4.0.jar中的版本号是2.10.4。因此两个版本号不一致而导致冲突

由于我们的代码是在Spark中执行。而Spark使用的Scala版本号是2.10.4。所以。开发环境中的Scala也应该是2.10.4。因此将2.11.4这个Scala库从Java Build Path删除掉

删除了之后。Eclipse继续报错,例如以下所看到的,也就是说。项目依赖的Scala版本号不如IDE的Scala版本号新。解决的方法例如以下

右击前面建的Scala项目,在右键弹出菜单中。选择Scala。然后在级联菜单中,选择Set Scala Installation,在弹出的对话框中选择,Fixed Scala Installation:2.10.4(bundled)

clean整个项目,Scala IDE的环境到此就配置完毕了。

 

 

scala-eclipse执行出现错误

java.lang.ClassNotFoundException

 

scala-ide

 

 

sbt是scala的构建工具

sbt安装有点坑啊,安装完之后启动sbt还要下载东西

 

 

SBT免FQ手冊

 

离线环境下构建sbt项目

 

 

Scala SBT 第一次执行时下载文件失败

 

加速 SBT 下载依赖库的速度

 

问候sbt一千遍之:加入全局镜像库

 

spark和机器学习技术博客

 

 

--------------------------------------------------------------------------------------------------------------------

Spark执行调试方法与学习资源汇总

http://blog.csdn.net/melodyishere/article/details/32353929

 

IntelliJ IDEA 安装scala插件。建立scalawith sbt project 的方法

 

Apache spark的IntelliJ IDEA 开发环境搭建

 

Spark作业代码(源代码)IDE远程调试

 

利用eclipse构建spark集成开发环境

 

Apache Spark学习:利用Eclipse构建Spark集成开发环境

spark一些配置信息

 

 本文作者:linger

本文链接:

 

 

 

 

你可能感兴趣的文章
juery 选择器 选择多个元素
查看>>
【新手向】TensorFlow 安装教程:RK3399上运行谷歌人工智能
查看>>
Oracle Net Configuration(监听程序和网络服务配置)
查看>>
c语言_判断例子
查看>>
ubuntu重启不清除 /tmp 设置
查看>>
面向对象
查看>>
JSON
查看>>
SAP发布wbservice,如果有权限管控的话,需要给这个webservice加权限
查看>>
16.Python网络爬虫之Scrapy框架(CrawlSpider)
查看>>
stm 常用头文件
查看>>
mac 删除文件夹里所有的.svn文件
查看>>
程序制作 代写程序 软件定制 代写Assignment 网络IT支持服务
查看>>
mysql 案例~select引起的性能问题
查看>>
直接读取图层
查看>>
springsecurity 源码解读 之 RememberMeAuthenticationFilter
查看>>
HTML5标准学习 - 编码
查看>>
JS 时间戳转星期几 AND js时间戳判断时间几天前
查看>>
UVa11426 最大公约数之和(正版)
查看>>
mime
查看>>
SQL练习之求解填字游戏
查看>>