什么是 Gym 和 Universe？
参考
Windows,Linux,macOS三平台安装OpenAI的Gym和Universe
OpenAI Gym 是一个用于开发和比较 RL（Reinforcement Learning（强化学习））算法的工具包，它包括一系列不断增长、完善的环境，还提供可以用于比较和评估算法的平台。
Gym 与其他的数值计算库兼容，如 TensorFlow 或者 Theano。主要支持的是 Python 语言。
Gym 的官网是
https://github.com/openai/gym
Gym 的各种环境在这里
https://gym.openai.com/envs
Gym 比较好的一点是你可以上传你自己训练环境的算法上去，也可以看到别人上传的算法，并且可以下载别人的算法代码。例如
https://gym.openai.com/envs/CartPole-v0
就是 CartPole 这个目的是把杆子立起来的环境，里面你可以找到别人上传的算法：
Universe 基于 Gym，是一个在全世界的游戏、网页和其他应用中，评估、训练智能代理的软件平台。Universe 的官网是
https://github.com/openai/universe
。
代理（agent）使用和人类类似的感官输入和控制方式，不过它看到的是像素，控制的是鼠标和键盘。
这使得任何需要电脑来完成的任务，都可以训练 AI 去做，并且与人类玩家较量。
Universe 包含 1000 多种不同训练环境，包括 Flash 游戏、网页任务、侠盗猎车手 这样的游戏。Universe 是英语「宇宙」的意思，可以看出这个项目的愿景很大，旨在开发出接近通用智能（General Artificial Intelligence）的算法。
Gym
1. 安装Anaconda
对于 Universe 的安装和配置，官方推荐用 Anaconda。对于 Gym 的安装，我们也可以使用 Anaconda。我们也来介绍一下。
Anaconda 是非常著名的开源的 Python 发行版本，其包含了conda、Python 等 180 多个科学包及其依赖项，可以大大方便配置开发环境。
Anaconda 可以用于创建独立的 Python 开发运行环境。每个环境中的 Python Runtime（运行时）都是独立的，互不影响。这样就不用担心安装 A 的时候把
B 的环境给破坏了。
Anaconda 附带默认安装的软件有著名的 Jupyter Notebook （官网
http://jupyter.org
）这个 Python 的交互式笔记本，支持运行40 多种编程语言。Jupyter Notebook 的本质是一个Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 Markdown，还可以插入图片，视频，音频，等等。
2. 更新pip
参考
https://pip.pypa.io/en/latest/installing/
D:\ProgramData\Anaconda3>python -m pip install -U pip
3. 安装Gym
参考
https://gym.openai.com/docs/
Installation
To get started, you’ll need to have Python 3.5+ installed. Simply install gym using pip:
pip install gym
D:\ProgramData\Anaconda3\Scripts>pip install gym
在安装过程中可能出现错误：distributed 1.21.8 requires msgpack, which is not installed.
D:\ProgramData\Anaconda3\Scripts>pip install msgpack
D:\ProgramData\Anaconda3\Scripts>pip install msgpack-python
4. 运行测试环境
参考
https://gym.openai.com/docs/
import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
env.render()
env.step(env.action_space.sample()) # take a random action
什么是 Docker
对于 Universe 的安装和配置，也会用到 Docker。对于 Gym 的安装，不需要用到 Docker。因为 Universe 的环境基本都是运行在一个 Docker 的容器里的。