博客

Python Spark MLlib之逻辑回归

  • Post author:
  • Post category:python


数据准备

和

决策树分类

一样，依然使用StumbleUpon Evergreen数据进行实验。

Local模式启动ipython notebook



cd ~/pythonwork/ipynotebook

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=local[*] pyspark




导入并转换数据
 

## 定义路径
global Path
if sc.master[:5]=="local":
    Path="file:/home/yyf/pythonwork/PythonProject/"
else:
    Path="hdfs://master:9000/user/yyf/"
## 读取train.tsv
print("开始导入数据...")


版权声明：本文为weixin_40170902原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。