官网：
Triton Inference Server | NVIDIA Developer
Simplifying and Scaling Inference Serving with NVIDIA Triton 2.3 | NVIDIA Technical Blog
模型训练只是DeepLearning的一小部分，如《Hidden Technical Debt in Machine Learning Systems》NIPS2015机器学习系统的技术债
书中所说。
现有几种搭建框架
Python：TF+Flask+Funicorn+Nginx
FrameWork：TF serving，TorchServe，ONNX Runtime
Intel：OpenVINO，mms，NVNN，QNNPACK（FB的）
NVIDIA：
TensorRT Inference Server（Triton）
，DeepStream
主要说现阶段比较主流的
TensorRT
硬件T4的GPU（也可嵌入端等NVIDIA设备）
软件TensorRT （Triton）
2020年TensorRT改名为Triton
版权声明：本文为Aidam_Bo原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。