window操作系统搭建Spark开发调试环境

1 搭建环境前写个demo代码；
2 安装配置jdk1.8；
3 安装配置scala2.11.18；
4 导入pom.xml中依赖jar；
5 下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录(http://hadoop.apache.org/releases.html下载)；
6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下(https://github.com/srccodes/hadoop-common-2.2.0-bin下载，不用担心版本问题，Hadoop2.6.4、Hadoop2.8、Hadoop2.7.3 都用这个)；
7 配置程序启动参数local ，再IDEA VMOPTION中填写-Dspark.master=local[3]，该模式所有的线程都在一个JVM里面，可以验证代码的逻辑错误，所有的日志也都在控制台打印；
8 启动。

注意：设置环境变量有两种方式
1.在系统中设置环境变量HADOOP_HOME和PATH，跟java设置类似（只需要设置一次，记得设置后要重启电脑才能生效，jdk这样设置环境变量就不用重启）

HADOOP_HOME=D:\mobvista\hadoop_bin\hadoop-2.8.1

Path=C:\ProgramData\Oracle\Java\javapath;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\WINDOWS\system32;C:\WINDOWS;C:\WINDOWS\System32\Wbem;C:\WINDOWS\System32\WindowsPowerShell\v1.0\;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\scala\bin;C:\Program Files\Java\jdk1.8.0_131\bin;C:\Program Files\Java\jdk1.8.0_131\jre\bin;C:\Program Files (x86)\scala\bin;C:\Program Files\Git\cmd;%HADOOP_HOME%\bin;C:\Program Files\MySQL\MySQL Utilities 1.6\;C:\Program Files\MySQL\MySQL Server 5.7\bin;D:\mobvista\software\apache-maven-3.3.9\bin;C:\WINDOWS\System32\OpenSSH\;C:\Python27;C:\Python27\Scripts;C:\Program Files\Intel\WiFi\bin\;C:\Program Files\Common Files\Intel\WirelessCommon\;C:\Users\think s2\AppData\Local\Microsoft\WindowsApps;D:\mobvista\hadoop_bin\hadoop-2.8.1\bin;

2.直接在程序里设置（这个好处是你不用重启电脑，但是你每写个小例子就得设置一下）
Configuration conf=new Configuration();

conf.set("hadoop_home", "H:\\publicQuoteJar\\hadoop-2.7.3");

项目添加配置信息

resources目录下面添加：core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>D:\mv_test\hadoop</value>  <!--默认的路径有可能有空格导致路径找不到 -->
</property>
</configuration>

log4j.properties

log4j.rootLogger=INFO, stdout
log4j.logger.org.springframework=INFO
log4j.logger.org.apache.activemq=INFO
#log4j.logger.org.apache.activemq.spring=WARN
#log4j.logger.org.apache.activemq.store.journal=INFO
#log4j.logger.org.activeio.journal=INFO
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

MR作业提交添加 -DHADOOP_USER_NAME=hadoop 以免用户名有空格导致找不到路径

Spark作业提交添加 -Dspark.master=local[3] 本地执行

IDEA服务器激活 http://www.iteblog.com/idea/key.php

参见http://blog.csdn.net/rickyit/article/details/51790069 本地激活方法，或者注册成为服务。

出现的问题以及解决方案：

当streaming设置chechpoint路径时，会报java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray

是因为 hadoop.dll 的版本问题，最后下载更新，下载路径 https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64，可以更新这个文件夹中的文件，因为 hadoop的版本为2.8.1，更新之后没有问题

注意：在win10操作系统上，winutils.exe采用https://github.com/srccodes/hadoop-common-2.2.0-bin 下载的文件，大小40K；

hadoop.dll采用https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64下载的文件，大小84K。

IDEA免注册码 http://blog.csdn.net/qq_24504453/article/details/77407329

========================idea激活=================================

idea激活，JetBrain旗下软件激活

前言
激活流程
1. 下载JetbrainsCrack.jar
2. 修改配置文件
3. 修改Activation Code
4. 后记
5. 参考资料

前言

idea激活有多种方式，网上较多的是使用注册码或者填License server网址，目前(2017年8月19日)使用注册码的方式，亲测可用的只有lanyun提供的注册码，但是会在2017年11月份的时候过期；然后填License server网址的方式，必须在你每次启动前电脑都要联网；所以感觉这两种方式都不太好，而使用破解补丁的方式可以一劳永逸，何乐而不为呢。
PS: JetBrain其他软件激活方法类似，大家参考时，灵活变通。
激活流程
1. 下载JetbrainsCrack.jar
地址：http://pan.baidu.com/s/1pLEZKiJ
或者：http://idea.lanyus.com/
在这个网站的：破解补丁无需使用注册码，这一项里；
PS: 因为感觉这里提供的jar包会更新，所以也贴上了
2. 修改配置文件
进入自己安装idea路径的bin目录下，(不知道自己安装在哪儿的同学，请右击桌面的idea图标，选择属性，在目标这个地方就可以找到了)，将刚刚下载好的JetbrainsCrack.jar复制到此目录下；
还是在bin目录下，找到idea.exe.vmoptions和idea64.exe.vmoptions，用记事本打开它们，在两个文件最后分别加上（注意：按照自己的目录和下载的JetbrainsCrack稍作修改，不要盲目复制）：
-javaagent:D:\Develop\IntelliJ IDEA 15.0.6\bin\JetbrainsCrack-2.6.2.jar
3. 修改Activation Code
重启idea，进入Register(在Help中有，或者进入项目之前选择工程的界面也有)
选择Activation Code，粘贴如下代码，记得修改下面的用户名部分和邮箱部分：
ThisCrackLicenseId-{
"licenseId":"ThisCrackLicenseId",
"licenseeName":"andy",
"assigneeName":"",
"assigneeEmail":"402097323@qq.com",
"licenseRestriction":"For This Crack, Only Test! Please support genuine!!!",
"checkConcurrentUse":false,
"products":[
{"code":"II","paidUpTo":"2099-12-31"},
{"code":"DM","paidUpTo":"2099-12-31"},
{"code":"AC","paidUpTo":"2099-12-31"},
{"code":"RS0","paidUpTo":"2099-12-31"},
{"code":"WS","paidUpTo":"2099-12-31"},
{"code":"DPN","paidUpTo":"2099-12-31"},
{"code":"RC","paidUpTo":"2099-12-31"},
{"code":"PS","paidUpTo":"2099-12-31"},
{"code":"DC","paidUpTo":"2099-12-31"},
{"code":"RM","paidUpTo":"2099-12-31"},
{"code":"CL","paidUpTo":"2099-12-31"},
{"code":"PC","paidUpTo":"2099-12-31"}
],
"hash":"2911276/0",
"gracePeriodDays":7,
"autoProlongated":false}

4. 后记
按照如上步骤执行完后就激活成功了，亲测可用
我使用的是jar包是: JetbrainsCrack-2.6.2.jar，idea版本是: 15.0.6; 貌似不修改activation Code也是到2099年过期，但是我还是改了，哈哈。
据说这个方法除了可以激活idea以外，还可以激活JetBrains旗下的很多产品，例如：WebStorms啊什么的，有需要的大家可以试试。
现在查出来的资料太多太多都是让填注册码或者License server网址；博主感觉使用破解补丁的方法比较好，于是记录下来，推荐给大家。
5. 参考资料
https://my.oschina.net/superman158/blog/602375
https://tieba.baidu.com/p/4927686353

==========================================================

IDEA 2020.1.2 激活方式 https://www.cnblogs.com/niceyoo/p/12132052.html

IDEA常用快捷键梳理

查询快捷键
CTRL+N 查找类
CTRL+SHIFT+N 查找文件
CTRL+SHIFT+ALT+N 查找类中的方法或变量
CIRL+B 找变量的来源
CTRL+ALT+B 找所有的子类
CTRL+SHIFT+B 找变量的类
CTRL+G 定位行
CTRL+F 在当前窗口查找文本
CTRL+SHIFT+F 在指定窗口查找文本
CTRL+R 在当前窗口替换文本
CTRL+SHIFT+R 在指定窗口替换文本
ALT+SHIFT+C 查找修改的文件
CTRL+E 最近打开的文件
F3 向下查找关键字出现位置
SHIFT+F3 向上一个关键字出现位置
F4 查找变量来源
CTRL+ALT+F7 选中的字符查找工程出现的地方
CTRL+SHIFT+O 弹出显示查找内容

SVN 管理
把SVN库添加到IDEA中 SETTING -> VERSION CONTROL -> VCS = SVBVERSION

自动代码
ALT+回车导入包,自动修正
CTRL+ALT+L 格式化代码
CTRL+ALT+I 自动缩进
CTRL+ALT+O 优化导入的类和包
ALT+INSERT 生成代码(如GET,SET方法,构造函数等)
CTRL+E 或者ALT+SHIFT+C 最近更改的代码
CTRL+SHIFT+SPACE 自动补全代码
CTRL+空格代码提示
CTRL+ALT+SPACE 类名或接口名提示
CTRL+P 方法参数提示
CTRL+J 自动代码
CTRL+ALT+T 把选中的代码放在 TRY{} IF{} ELSE{} 里

复制快捷方式
F5 拷贝文件快捷方式
CTRL+D 复制行
CTRL+X 剪切,删除行
CTRL+SHIFT+V 可以复制多个文本

高亮
CTRL+F 选中的文字,高亮显示上下跳到下一个或者上一个
F2 或SHIFT+F2 高亮错误或警告快速定位
CTRL+SHIFT+F7 高亮显示多个关键字.

其他快捷方式
CIRL+U 大小写切换
CTRL+Z 倒退
CTRL+SHIFT+Z 向前
CTRL+ALT+F12 资源管理器打开文件夹
ALT+F1 查找文件所在目录位置
SHIFT+ALT+INSERT 竖编辑模式
CTRL+/ 注释//
CTRL+SHIFT+/ 注释/*...*/
CTRL+W 选中代码，连续按会有其他效果
CTRL+B 快速打开光标处的类或方法
ALT+ ←/→ 切换代码视图
CTRL+ALT ←/→ 返回上次编辑的位置
ALT+ ↑/↓ 在方法间快速移动定位
SHIFT+F6 重构-重命名
CTRL+H 显示类结构图
CTRL+Q 显示注释文档
ALT+1 快速打开或隐藏工程面板
CTRL+SHIFT+UP/DOWN 代码向上/下移动。
CTRL+UP/DOWN 光标跳转到第一行或最后一行下
ESC 光标返回编辑框
SHIFT+ESC 光标返回编辑框,关闭无用的窗口
F1 帮助千万别按,很卡!
CTRL+F4 非常重要下班都用

一.找文件找代码找引用相关

1.双击shift
在项目的所有目录查找，就是你想看到你不想看到的和你没想过你能看到的都给你找出来

2.ctrl+f
当前文件查找特定内容

3.ctrl+shift+f
当前项目查找包含特定内容的文件

4.ctrl+n
查找类

5.ctrl+shift+n
查找文件

6.ctrl+e
最近的文件

7.alt+F7
非常非常频繁使用的一个快捷键，可以帮你找到你的函数或者变量或者类的所有引用到的地方

二.编辑相关

1.shift+enter
另起一行

2.ctrl+r
当前文件替换特定内容

3.ctrl+shift+r
当前项目替换特定内容

4.shift+F6
非常非常省心省力的一个快捷键，可以重命名你的类、方法、变量等等，而且这个重命名甚至可以选择替换掉注释中的内容

5.ctrl+d
复制当前行到下一行

6.ctrl+x
剪切当前行

7.ctrl+c \ ctrl+v
大家都懂的

8.ctrl+z
撤销

9.ctrl+shift+z
取消撤销

10.ctrl+k
提交代码到SVN

11.ctrl+t
更新代码

12.alt+insert
非常非常以及相当方便的一个组合键，不信您往下看
在类中使用：可以自动生成构造器、getter/setter等等常用方法
在项目目录上使用：可用于新建各种文件
PS:黄色警告编译可以通过，不影响程序的正常运行，一般都是一些对于代码优化的建议，我遇到过的有：
(1).can be simplify
代码可以简化
(2).Variable is never use
声明的变量从未被使用
(3)unnecessary boxing
不必要的声明包装
写个类实现某个接口，加上 implements Runnable 后你就会发现这条红色的波浪线

14.ctrl+alt+L

自动格式化代码，我已经养成了写完代码就来一发的习惯。

window操作系统搭建Spark开发调试环境相关推荐

vscode-armgcc-openocd搭建STM32开发调试环境
环境配置一. vscode插件安装 1. 打开vscode, 进入扩展搜索页面 2. 搜索安装: Embedded IDE, Cortex-Debug 二. arm-gcc, openocd安装 a ...
Mac m1上使用docker搭建C++开发调试环境
说明因为mac上虚拟机都不太好用,有些还收费,故使用docker来搭建虚拟机.况且我的Mac是m1芯片,用的是arm架构,虚拟机更是少. 搭建本机与虚拟机互通 mac上docker与linux不同, ...
手把手，快速搭建 Cocos2d-HTML5 开发调试环境
转自:http://www.ityran.com/archives/4857 在这篇文章中,你将学会如何快速搭建 Cocos2d-HTML5 的开发和运行环境,对于脚本来说,大多编辑器提供语法高亮显示 ...
在win10中搭建zircon开发调试环境
由Windows内核团队与Canonical合作设计和开发的,可以让Windows 10下的开发者们在拥有Windows中那些强力支持之外,还能使用Linux下丰富的开发环境与工具,而不用启动到另外的 ...
通过vstart搭建ceph开发调试环境。
1.首先clone ceph源代码到你自己的机器上. $ git clone https://github.com/ceph/ceph.git然后在选择一个稍微稳定的版本进行编译.比如我选择的就是 v ...
PHP开发调试环境配置（基于wampserver+Eclipse for PHP Developers ）
因为项目需求,需要开发PHP的项目,所以不得不花点时间开始学习PHP,过程非常要抓狂,还没有开始开发已经被一大堆复杂的环境搭建搞疯了经过多方实验,决定将过程记录下来,也为了让很多跟我一样从零开始学习 ...
用pycharm搭建odoo 12, 11,10 开发调试环境
用pycharm搭建odoo 12, 11,10 开发调试环境个人认为在windows平台下Pycharm 是最好的 odoo开发工具, 配置简单,操作简便,界面清爽,支持远程调试python,ja ...
如何使用intellij搭建spark开发环境（下）
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%B ...
vs安装 c语言编译环境,Visual Studio Code安装与C/C++开发调试环境搭建
目录简介 VSCode安装 VSCode语言设置安装开发套件构建C/C++编译环境安装Clang 安装MinGW VSCode工程配置 launch.json tasks.json 测试简介 ...

window操作系统搭建Spark开发调试环境

window操作系统搭建Spark开发调试环境相关推荐

最新文章

热门文章