如何在windows下安装配置pyspark notebook
时间:2022-03-18 01:08
第一步:安装anaconda
anaconda自带一系列科学计算包
下载链接:http://pan.baidu.com/s/1b4jWlg 密码:fqq3
接着配置环境变量:如我安装在D盘下
试一下命令行启动,确保ipython从anaconda启动
第二步:安装spark(需要提前安装JDK)
到官网下载spark安装包
http://spark.apache.org/downloads.html
我下的是这个版本:
解压缩之后,不要忘记添加环境变量
配置如下系统变量
这一步很重要 拷贝 E:\spark\python\pyspark 到 D:\anaconda\Lib\site-packages 目录下
第三步:修改spark\conf下的spark-env文件(不知道是否必要)
加入如下三行
export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS=‘--master local[*]‘
第四步:启动pyspark
发现已启动成功,一般网页会自动打开http://localhost:8888/tree#
第五步:测试sc
成功!
本类排行
- 1terminate called after throwing an instance of 'std::cad_alloc' what():std::bad_alloc
- 2动态 WebApi 引擎使用教程(3行代码完成动态 WebApi 构建)
- 3windows 查看文件的md5/sha1/sha256
- 4打造一个window桌面应用:在线聊天对话机器人
- 5git windows下换行符问题 LF与CRLF转换
- 6[Linux]Windows远程CENTOS7桌面
- 7FileExistsError: [WinError 183] 当文件已存在时,无法创建该文件。
- 8K8S--可视化界面Kubernetes Dashboard(API Server方式)
- 9搜索引擎sphinx的windows安装和使用
- 10Redis安装成windows服务