博客

同系列链接：

Jetson开发实战记录（一）：Jetson家族的基本介绍



Jetson开发实战记录（二）：Jetson Xavier NX版本区别以及烧录系统



Jetson开发实战记录（三）：Jetson Xavier NX具体开发(Ubuntu18.04系统）

一、Jetson家族

链接：

Jetson“家族”在NVIDIA的定位是什么？对比市面上其他嵌入式平台，Jetson有什么优势？


Jetson是NVIDIA嵌入式计算平台的总称，定位是面向各类端用户的应用需求，根据大家算力，产品设计，外接传感器等需求，打造了不用技术规格的嵌入式计算平台，为各行业提供了低功耗高性能的AI解决方案。

优势：

• 完善的软件工具和面向各领域AI落地的SDK
  
  NVIDIA为开发者提供了各种免费工具，比如CUDA, TensorRT，TAO工具套件，对大家不同的AI应用进行加速，满足大家不用场景的需求。这些工具提供给开发者更多的一个选择，如果你是相对来说比较资深的开发者，你可以直接用CUDA对GPU上的运算单元cache进行操作。如果是研究者，并不关注底层的硬件，关注点是算法模型能不能够快速地跑起来，这种情况就可以完全用TensorRT，直接把模型直接输入给TensorRT，在GPU上跑出一个最好的效果。在实现模型加速之余，TAO工具套件可以对模型进行剪枝，场景的适应，以及增量数据的训练。NVIDIA的工具支持很多的框架，比如像caffe，tensorflow，pytorch等。这样的话，开发者可以把在其他的平台上用通用的框架，然后训练出的结果直接部署到Jetson。
  
  
  
  
  除了工具之外，NVIDIA还提供了面向AI应用落地的SDK, 例如deepstream，ISAAC，Clara，Metropolise等，为大家在图像视频检测，机器人，医疗，智慧交通等领域提供了全套的软件解决方案。下图举一个SDK例子，DeepStream的pipeline，可以帮助开发者快速搭建图像视频检测的应用。
  
• Jetson打造软件隔离层 在为开发者提供软件工具和解决方案SDK的同时，NVIDIA打造了软件隔离层，最大程度降低了嵌入式平台上软件的迁徙成本。NVIDIA的软件工具和SDK, 在Jetson所有的硬件平台都是通用的，所以在Jetson硬件平台的迁徙只需要做再次编译，无需任何代码级的改动。
  
• 云原生在Jetson的支持这部分可以参考另一个帖子：https://www.zhihu.com/question/406671844首先，我们来了解一下云原生的支持对AI有什么推动作用？云原生支持，通俗来讲，就是支持用户在Jetson边缘端上部署运行在云端的应用。云原生技术可以帮助制造商和开发人员执行频繁的改进措施，提高准确度，并通过基于Jetson的AI边缘设备使用最新功能应用。开发人员可以在应用的整个生命周期中快速且大规模地部署新算法，同时最大程度地减少停机时间。通过运用云原生技术，开发人员即可利用这块仅有信用卡尺寸大小的高AI功能与高计算性能的模块，推动创新并大规模在机器人、智慧城市、医疗保健、工业物联网等领域部署AI。 在今年5月14号GTC发布会上，发布中有一个demo，演示了云原生技术帮助开发者在NVIDIA NGC训练好的模型，即在Jetson Xavier NX设备端通过容器化部署，demo中部署的4个容器里面一共跑了并加速了7个模型，同时做人流检测、自然语言处理、姿势检测、目光/眼球检测，如下图所示，其中任意一个都可以满足一款机器人的应用需求，我们可以看到，之前只能在云端运行的算法，现在都可以在边缘端实现了。
  

二、Jetson家族产品横向对比

链接：

盘一盘NVIDIA Jetson家族的前浪和后浪！


Jetson系列产品支持需要各种性能级别和价格的大量应用场合，例如 AI 网络视频录像机 (NVR)、高精度制造领域中的自动光学检查 (AOI) 以及自主移动机器人 (AMR)等。因此，可在边缘设备的嵌入式系统中高效引入现代 AI、深度学习和推理。目前主流的Nano、TX2、Xavier产品性能对比如下。

1.Jeston Nano

• 特点：
  • Jetson Nano是一款
    
    低成本
    
    的 AI 平台，具备较高的性能和能效，可以运行计算量不大的 AI 工作负载和多个神经网络，以及同时处理来自多个高清传感器的数据。这使其成为向嵌入式产品中添加高级 AI 的最理想选择。
  • Jetson Nano 模组仅有 70 x 45 毫米，体积非常小巧。可以为多个行业（从智慧城市到机器人）的边缘设备部署 AI 时提供强大支持。
  • NVIDIA Jetson Nano推出开发者套件，作为一种功能强大的小型计算机，可以并行运行多个神经网络，从而实现图像分类、物体检测、分割和语音处理等应用。且运行功率仅为 5 瓦。
    
    

2.Jetson Xavier

NVIDIA官网这样介绍：Jetson AGX Xavier 为边缘设备的计算密度、能效和 AI 推理能力树立了新的标杆。作为现在AI计算的扛把子，其尺寸仅为 100 x 87 mm，只是工作站的 1/10，但性能媲美大型工作站。Xavier具有高达 32 TOPS的峰值计算能力和 750 Gbps 的高速 I/O 性能。全负载功耗30W，性能和能效分别比前代产品 NVIDIA Jetson TX2 高出 20 倍。

• 特点：

  • Jetson AGX Xavier作为全球首款专为自主机器打造的计算机，具有六个计算机主板，用于处理传感器数据和运行自主机器软件，其超高性能，足以完成视觉测距、传感器融合、定位与地图绘制、障碍物探测，以及路线规划算法等计算任务。适合配送和物流机器人、工厂系统和大型工业 UAV 等自主机器。

  • 基于Jetson AGX Xavier 可以打造出 AI 助力的自主机器，在边缘提供更高级别的计算密度、能效和 AI 推理能力。其运行功率低至 10W，得益于 NVIDIA丰富的 AI 工具和生态环境，开发者可以快速训练和部署神经网络。

  • Jetson AGX Xavier 8GB 是一款价格实惠的低功率 Jetson AGX Xavier，可与现有的 Jetson AGX Xavier 实现完整的软硬件兼容性。其整个模块最高消耗 20W 功率，同时提供高达 20 TOPS 的 AI 性能。该产品自 2019 年 8 月起发售。

  • 用户可以使用价格实惠的低功率 Jetson AGX Xavier 8GB 模块，以 10W 或 20W 功率为其应用程序配置操作模式，或使用 Jetson AGX Xavier 模块并以 10W、15W 或 30W 功率进行此项配置。
    
    

3.Jetson Xavier NX

Jetson Xavier NX将 NVIDIA Xavier SoC 的强大性能封装到很小的模块中，外形尺寸只有 70 x 45 mm与Nano相当，但是具备丰富的IO（从高速 CSI 和 PCIe 到低速 I2C 和 GPIO）。Xavier NX可为边缘提供性能高达 21 Tops 的加速 AI 计算。它能并行运行多个现代神经网络，处理来自多个高分辨率传感器的数据，进而满足完整 AI 系统的需求。Jetson Xavier NX 是NVIDIA所谓的生产就绪产品，金手指插卡接口，方便产品设计扩展。

• 特点：
  • Jetson Xavier NX具有云原生支持，使开发人员可以在嵌入式和边缘设备上构建和部署高质量的软件功能。NVIDIA NGC和NVIDIA Transfer Learning Toolkit提供的经过预先训练的AI模型提供了一条通往训练过并优化过的AI网络的更快的路径，而Jetson设备的容器化部署则可以实现灵活，无缝的更新。
  • Jetson Xavier NX的性能比其前身Jetson TX2高出10倍以上，适用于无人机、便携式医疗设备、小型商业机器人、智能摄像头、高分辨率传感器、自动光学检测、智能工厂和其他 IoT 嵌入式系统等高性能 AI 系统。
  • NVIDIA Jetson Xavier NX 开发者套件包括一个Jetson Xavier NX模组，开发者可以基于NVIDIA提供的软件架构开发更多AI应用程序，而功耗不超过10 W。

4.Jetson TX2

• 系列：

  • JETSON TX2 4GB
    
    Jetson TX2 4GB以 Jetson TX1 两倍的计算性能和能效来运行神经网络——而且价格不变。得益于 NVIDIA 丰富的 AI 工具和工作流程，让开发人员快速训练和部署神经网络。

  • JETSON TX2
    
    Jetson TX2 采用 NVIDIA Pascal 构架，外形小巧、节能高效，非常适合机器人、无人机、智能摄像机和便携医疗设备等智能边缘设备。支持 Jetson TX1 模块的所有功能，同时可以实现更大型、更复杂的深度神经网络。

  • JETSON TX2i
    
    Jetson TX2i 模块拥有坚固的设计、小巧的外形和更低的能耗，堪为工业机器人、机器视觉相机和便携式医疗设备等高性能边缘计算设备的理想选择。
    
    

5.Jetson TX1

Jetson TX1是世界上第一个基于模块的超级计算机，能够提供最新视觉计算应用所需的性能和能效。 它基于具有256个CUDA内核的革命性NVIDIA Maxwell 架构构建，可提供超过1 TeraFLOP的性能。 64位CPU，4K视频编码和解码功能以及1400 MPix / s的摄像头接口使其成为嵌入式深度学习，计算机视觉，图形和GPU计算的最佳系统。

6.Jetson TK1

TK1是NVIDIA在边缘计算领域的首次尝试，基于Tegra K1开发的一块低成本开发板，针对嵌入式系统应用释放 GPU 的潜能。它以革命性的 NVIDIA Tegra K1 SoC 为基础构建，并且使用相同的 NVIDIA Kepler 计算核心（该核心专为全世界的超级计算机而设计）。TK1提供了一款全功能 NVIDIA CUDA平台，其上面预装了Linux4Tegra OS（Ubuntu 14.04，配有预配置的驱动程序）。根据官网的介绍，NVIDIA可以提供整个BSP和软件包，包括CUDA、OpenGL4.4和由Tegra加速的OpenCV。可用于快速开发和部署面向计算机视觉、机器人技术、医疗和更多领域的计算密集型系统。

三、NVIDIA统一的软件堆栈

Jetson Nano、Xavier、TX2等SOM解决方案均由NVIDIA同一软件堆栈Jetpack SDK提供支持，其优势在于完成一次开发，即可在前三者中任意平台进行部署。

Jetpack SDK 提供包括板级支持包 (BSP)、Linux 操作系统、NVIDIA CUDA®等，并且兼容第三方平台。

JetPack 可提供用于深度学习、计算机视觉、加速计算和多媒体的库，而且支持各类传感器的驱动程序。此外，NVIDIA 还针对深度估算、路线规划和物体检测等重要的自主机器任务开发了 GPU 加速 IP 。