（2022）Ubuntu16.04 搭建mujoco环境+强化学习gym
前言
随着人工智能和物联网的不断发展，一些商用性产品逐渐出现在大众的视野中，例如智能家居、无人机、服务型机器人等等。本文主要是Ubuntu系统下mujoco环境的配置，未来将使用mujoco进行机器人的可视化建模以及运动学分析。
提示：最新更新于2022.2.23
本人的配置方案如下：
ubuntu16.04
mujoco 200
（mujoco150 我没试过 网上好像是可以的）
mujoco_py 2.0.2.5
（这个版本是一个坑，需要跟 mujoco 的版本对应）
python3.6.4
（按我走过的坑来说 python3.7 可以省去一些麻烦）
gym0.21.0
（这个也有坑，主要是在更新上，机械臂建模应该不会用到这个强化学习环境）
参考网址：
安装步骤参考1
安装步骤参考2
避坑指南
测试参考
一、Ubuntu16.04系统安装
参考文档：
Windows10安装ubuntu16.04双系统教程
制作刻录 u 盘软件：
UltralSO
（试用版 30 天就够了)
前 期 准 备 工 作
-
安装 nvidia 驱动：
ubuntu16.04安装NVIDIA驱动
这个驱动安装教程基本上是没有问题的
-
安装 python3.6 ：
ubuntu安装python3.6
由于 ubuntu16.04 适配的是 python2.7/python3.5，不能用 sudo apt-get 去获取 python3.6 以上版本。
切忌不要卸载系统自带的 python，否则会有各种奇奇怪怪的 bug 等着你
。最好不要删除之前的软链接这样的话也会让系统有一些问题出现。
- 为 python3.6 安装 pip
代码如下：
（sudo）curl https://bootstrap.pypa.io/ez_setup.py -o - | python3.6 && python3.6 -m easy_install pip
或者
（sudo）curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py" python3 get-pip.py –user
报错权限不够就加 sudo ，最好是使用第一个代码。
然后用
pip -V
验证自己下载的 pip 是在 python3.6 的根目录下，
pip3 -V
同理验证pip3的安装路径。
二、mujoco安装
1.安装教程
教程中安装 mujoco 的流程大同小异，只是现在 license 开源可直接下载（就是说获得许可证那一步可以直接跳过，
license下载网址
，mujoco 也在这个网址的 download 下载，建议解压文件夹重命名为 mujoco200,后面下载 mujoco-py 的时候会用到。
打开终端，输入以下命令
mkdir ~/.mujoco
然后将解压好的mujoco200文件夹复制到这个隐藏的mujoco文件中，ubuntu系统中在Home文件夹下，按Ctrl+H可显示隐藏文件夹，然后复制即可，也可使用指令复制：
cp /你的文件目录/mujoco200_linux.zip ~/.mujoco
cd ~/.mujoco
unzip mujoco200_linux.zip
（PS：这里解压之后的文件夹名为mujoco200_linux,个人建议将其改为mujoco200，以下工作都是根据于此来进行的）完成这些工作之后可以添加环境变量
sudo gedit ~/.bashrc
将下面这两条命令复制到最后一行
export LD_LIBRARY_PATH=~/.mujoco/mujoco200/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
然后将在网址上下载的注册表文件mjkey.txt复制到～/.mujoco文件夹里以及~/.mujoco/mujoco200/bin文件夹下，也可以使用以下指令复制
cp mjkey.txt ~/.mujoco
cp mjkey.txt ~/.mujoco/mujoco200/bin
2.程序验证
测试结果是一个画面，然后有一个木偶小人。
代码如下：
cd ~/.mujoco/mujoco200_linux/bin
./simulate ../model/humanoid.xml
三、mujoco-py 安装
1.安装教程
安装 mujoco-py 第一步就是一个坑，
git clone
https://github.com/openai/ mujoco-py.git
这个命令会默认安装网址中最新版本，如下图所示。
看说明这个版本是跟 mujoco2.1 版本（mujoco210）是匹配的。所以下载这个是不行的，要到
releases
找到早期版本下载，如下图所示。（建议v2.0.2.5）后缀是
tar.gz
的，形式是这样的。
解压，默认在下载的路径上，把这个剪切到/home/（自己计算机名字）的文件夹里，并改名为 mujoco-py。
剩下内容参考知乎（
安装步骤参考2
），但是需要注意的是我这里没有用到 conda 虚拟环境是直接安装的，问题不大会有警告，直接忽略掉即可。（也可以直接下载conda安装，下面给出我的代码）
- 安装 patchelf
curl -o /usr/local/bin/patchelf https://s3-us-west-2.amazonaws.com/openai-sci-artifacts/manual-builds/patchelf_0.9_amd64.elf
sudo chmod +x /usr/local/bin/patchelf
- 安装 依赖
cd ~/mujoco-py
cp requirements.txt requirements.dev.txt ./mujoco_py
cd mujoco_py
sudo pip3.6 install -r requirements.txt
sudo pip3.6 install -r requirements.dev.txt
需要注意的是，pip install -r requirements.txt和pip install -r requirements.dev.txt命令需要修改，因为要用到python3.6以及管理员权限。修改如下：sudo pip3.6 install -r requirements.txt 和 sudo pip3.6 install -r requirements.dev.txt
安装依赖会遇到time out 情况。这里有解决方法，建议就是换源。
https://blog.csdn.net/weixin_42455006/article/details/121957633
- 安装mujoco-py
cd ~/mujoco-py/vendor
./Xdummy-entrypoint
cd ..
sudo python3.6 setup.py install
安装也同理需要用到管理员权限，以防万一后面的python一律改成python3.6。或者打开终端输入
sudo gedit ~/.bashrc
在最后一行加入
alias python=python3
。
2.程序验证
测试也是一样，需要先进入mujoco-py文件夹，输入python3.6进入python，然后键入
import mujoco_py
导入数据，第二次没有输出为正常。结果如下图所示。
完整测试代码如下：
import mujoco_py
from os.path import dirname
model = mujoco_py.load_model_from_path(dirname(dirname(mujoco_py.__file__)) +"/xmls/claw.xml")
sim = mujoco_py.MjSim(model)
print(sim.data.qpos)
#[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
sim.step()
print(sim.data.qpos)
#[ 2.09217903e-06 -1.82329050e-12 -1.16711384e-07 #-4.69613872e-11
# -1.43931860e-05 4.73350204e-10 -3.23749942e-05 #-1.19854057e-13
# -2.39251380e-08 -4.46750545e-07 1.78771599e-09 -1.04232280e-08]
四、gym 安装
1.安装教程
最后一步就是安装gym，由于版本的原因（
gym21.0只能兼容python3.7及以上
）也不能使用
git clone https://github.com/openai/gym.git
，而是进入
https://github.com/openai/gym.git
去找早期版本gym20.0就可以了。然后解压，剪切，重命名。
剩下的安装教程可以参考：
测试参考
代码如下：
cd gym
sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
sudo pip3 install -e
千万不要用
pip install -e.[all]
，这又是一个坑，因为gym的依赖是mujoco150,你一运行就会删除mujoco200而且会报错。所以就先安装简易版本。
2.程序验证
完整测试代码如下：
cd ~/gym
python
import gym
env = gym.make('Hero-ram-v0')
for i_episode in range(20):
observation = env.reset()
for t in range(100):
env.render()
print(observation)
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
if done:
print("Episode finished after {} timesteps".format(t+1))
break
会报错，因为缺少一些部件，这里缺什么ctrl+D退出python环境运行
sudo pip3.6 install -e.[缺少的部件]
报错会提示下载的。然后重新运行测试代码，成功！后续机械臂可能也会缺部件，也是缺啥就补啥吧。
有如下输出说明安装成功：
总结
以上就是今天要讲的内容，本文仅仅简单介绍了Ubuntu16.04下mujoco环境的搭建，mujoco的使用以及机器人（臂）可视化建模并未在本文中体现。通过本博客，可以发现环境搭建一个最大的问题就是版本不匹配。未来的工作计划是结合自己的研究内容和项目进展，进行该系列的博客撰写。