Windows下使用zeppelin、Dockers搭建Flink学习环境

  • Post author:
  • Post category:其他




一、原因



最近在学


Flink


,学的时候非常怀念学习


Python


用的


Jupyter notebook


,因此非常希望也能有一个类似


Jupyter Notebook


的环境来运行、学习


Flink


。可惜


Jupyter Notebook


现在不支持


Flink


,不过幸好还有


Zeppelin






zeppelin


是一个基于


web





notebook


,支持各种解析器,可视化的数据提取,数据发现,数据分析等。当前


zeppelin


支持多中解析器,比如


spark,python,jdbc,markdown,shell


等等。



因为我是用笔记本来学习,为了简化安装步骤,决定使用


Docker


来搭建环境。



二、环境搭建



1


,安装


Docker Desktop


,具体方法请参考官网说明即可。



2


,下载


Docker


。现在


zeppelin


最新的版本是


0.10.0


。在启动


Docker Desktop


后,直接运行


docker pull apache/zeppelin:0.10.0


即可将最新的


zeppelin docker


下载到本地。



3





zeppelin


默认的


docker


里面不包括


Flink


,所以需要自行下载,去官网下载即可。我这次使用的是


1.12.7


。下载后解压到希望


Flink


运行的目录。



4


,运行



docker run -p 8080:8080 -p 8081:8081 –rm -v D:/Docker/zeppelin/flink-1.12.7:/opt/flink -e FLINK_HOME=/opt/flink  –name zeppelin apache/zeppelin:0.10.0



即可启动


Zeppelin


环境。其中


D:/Docker/zeppelin/flink-1.12.7





flink


解压的目录。



然后就可以通过


http://localhost:8080/


访问


zeppelin



可以直接运行


Flink Tutorial



可以通过


http://localhost:8081/


查看


Flink





UI






现在你就可以愉快的玩耍了。



5


,也可以通过


docker-compose


来启动和关闭


zepplin





docker-compose.yml


文件内容如下:



version: ‘3’



services:



zeppelin:



image: apache/zeppelin:0.10.0



restart: always



environment:



– FLINK_HOME=/opt/flink



volumes:



– D:/Docker/zeppelin/flink-1.12.7:/opt/flink



ports:



– 8080:8080



– 8081:8081






docker-compose.yml


文件的目录里可以通过


docker-compose up -d





docker-compose down


来启动和停止


zeppelin






版权声明:本文为hawkman原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。