一、原因
最近在学
Flink
,学的时候非常怀念学习
Python
用的
Jupyter notebook
,因此非常希望也能有一个类似
Jupyter Notebook
的环境来运行、学习
Flink
。可惜
Jupyter Notebook
现在不支持
Flink
,不过幸好还有
Zeppelin
。
zeppelin
是一个基于
web
的
notebook
,支持各种解析器,可视化的数据提取,数据发现,数据分析等。当前
zeppelin
支持多中解析器,比如
spark,python,jdbc,markdown,shell
等等。
因为我是用笔记本来学习,为了简化安装步骤,决定使用
Docker
来搭建环境。
二、环境搭建
1
,安装
Docker Desktop
,具体方法请参考官网说明即可。
2
,下载
Docker
。现在
zeppelin
最新的版本是
0.10.0
。在启动
Docker Desktop
后,直接运行
docker pull apache/zeppelin:0.10.0
即可将最新的
zeppelin docker
下载到本地。
3
,
zeppelin
默认的
docker
里面不包括
Flink
,所以需要自行下载,去官网下载即可。我这次使用的是
1.12.7
。下载后解压到希望
Flink
运行的目录。
4
,运行
docker run -p 8080:8080 -p 8081:8081 –rm -v D:/Docker/zeppelin/flink-1.12.7:/opt/flink -e FLINK_HOME=/opt/flink –name zeppelin apache/zeppelin:0.10.0
即可启动
Zeppelin
环境。其中
D:/Docker/zeppelin/flink-1.12.7
是
flink
解压的目录。
然后就可以通过
http://localhost:8080/
访问
zeppelin
可以直接运行
Flink Tutorial
可以通过
http://localhost:8081/
查看
Flink
的
UI
。
现在你就可以愉快的玩耍了。
5
,也可以通过
docker-compose
来启动和关闭
zepplin
,
docker-compose.yml
文件内容如下:
version: ‘3’
services:
zeppelin:
image: apache/zeppelin:0.10.0
restart: always
environment:
– FLINK_HOME=/opt/flink
volumes:
– D:/Docker/zeppelin/flink-1.12.7:/opt/flink
ports:
– 8080:8080
– 8081:8081
在
docker-compose.yml
文件的目录里可以通过
docker-compose up -d
和
docker-compose down
来启动和停止
zeppelin
。