ONNX 和 TensorRT:模型部署加速的 1 分钟速通
从 PyTorch 导出 ONNX,到在 NVIDIA GPU 上构建 TensorRT engine,梳理模型转换、图优化、精度选择、动态形状与结果验证的完整链路。
#模型部署#ONNX#TensorRT#推理加速#PyTorch#Jetson
写作与记录
博客以介绍为主,不求甚解:先认识一个概念、方法或工具,建立大致的理解。
博客目录 →从 PyTorch 导出 ONNX,到在 NVIDIA GPU 上构建 TensorRT engine,梳理模型转换、图优化、精度选择、动态形状与结果验证的完整链路。
从三维卷积、权重膨胀、时序移位到分解注意力和掩码预训练,理解五种经典视频建模方法的机制、边界与工程取舍。
从 Transformer 为什么需要位置,到 RoPE 的旋转、ALiBi 的线性偏置和视觉 2D-RoPE 的行列坐标,理解图像与多模态模型如何知道 token 在哪里。
从潜空间想象、像素级生成到抽象表征预测,理解世界模型如何预测未来、学习动作与支持规划。
从机器人遥操作、仿真合成、UMI 手持夹爪到 Ego 第一视角数据,梳理具身智能数据采集的技术演变、适用场景与主要取舍。