TensorRT是nvidia提供的高性能深度学习推理优化库，专为c++设计，通过序列化→优化→部署流程加速已训练模型在GPU上的推理。
TensorRT 是 NVIDIA 提供的高性能深度学习推理（Inference）优化库，专为 C++ 环境设计，能显著提升模型在 GPU 上的运行速度、降低延迟并减少显存占用。它不是训练框架，而是针对已训练好的模型（如 ONNX、UFF、caffe、tensorflow SavedModel 等）进行**序列化 → 优化 → 部署**的推理加速引擎。
一、环境准备与核心依赖
确保以下组件已正确安装：
- NVIDIA 驱动（≥ 对应 CUDA 版本要求，如 CUDA 12.x 通常需驱动 ≥ 525）
- CUDA Toolkit（如 12.2）和 cuDNN（如 8.9）——TensorRT 会自动链接它们
- TensorRT SDK（推荐下载 tar 包版，解压即用；也可通过 deb/rpm 安装，但 tar 包更利于 C++ 工程集成）
- CMake ≥ 3.18，支持 C++17（TensorRT C++ API 默认使用 C++17）
将 TensorRT 的 include/ 加入头文件搜索路径，lib/ 加入链接路径，链接库名如：nvinfer、nvinfer_plugin、nvonnxparser（若加载 ONNX）、nvparsers（旧版 Caffe/UFF）等。
二、典型 C++ 部署流程（以 ONNX 模型为例）
一个最小可行部署包含 4 步：构建 Builder → 解析模型 → 创建 Network → 构建 Engine → 序列化/反序列化 → 执行推理。
立即学习“C++免费学习笔记（深入）”；
- 初始化 Logger 和 Builder：继承
ILogger实现日志回调（可简化为sample::Logger或自定义）；调用createInferBuilder() - 解析 ONNX 模型：用
createONNXParser()，调用parseFromFile(model_path, 1)（1 表示 warning 级别），检查 parser 错误 - 配置 Builder 选项：设置最大 batch size（
maxBatchSize）、工作空间大小（maxWorkspaceSize，建议 ≥ 1GB）、精度模式（fp16Mode = true/int8Mode = true）、是否启用动态 shape（需提前设置profile） - 构建可执行 Engine：调用
builder->buildEngineWithConfig(*network, *config)，耗时较长但只需一次；成功后可序列化为 plan 文件（engine->serialize()）供后续快速加载
三、推理执行关键点（Host ↔ Device 数据流）
Engine 本身不管理内存，需手动分配 GPU 显存缓冲区，并同步 host/device 数据：
- 用
engine->getBindingIndex("input_name")获取输入/输出 binding 索引（0 通常是 input） - 根据 binding 的 data type（
engine->getBindingDataType(i)）和 dims（engine->getBindingDimensions(i)）计算 buffer 大小，调用cudaMalloc分配显存 - 使用
cudaMemcpy将预处理后的数据（如 float32 图像数组）从 host 内存拷贝到 device buffer - 调用
context->executeV2(bindings)（V2 接口支持动态 batch 和 dynamic shape），bindings 是void*数组，按 index 顺序存放 input/output 地址 - 推理完成后，再用
cudaMemcpy将 output buffer 拷回 host，做后处理（如 softmax、NMS）
四、实用技巧与避坑提醒
实际开发中容易卡在几个细节：
- ONNX 模型需满足 TensorRT 支持算子集（可用 onnx-tensorrt 查看兼容表），不支持的 op 可尝试用
torch.onnx.export(..., custom_opsets)替换或导出前简化网络 - 动态 shape 必须显式创建
IExecutionContext并设置setBindingDimensions，且 builder config 中要添加optProfile - INT8 量化需提供校准数据集（Calibration Dataset）和实现
IInt8Calibrator，否则 fallback 到 FP16 - 多线程推理推荐每个线程独占一个
IExecutionContext，避免共享 context 导致阻塞 - 调试时开启 verbose 日志（
ILogger::Severity::kVERBOSE），关注 parser 警告和 builder 优化日志
基本上就这些。TensorRT 的 C++ API 设计清晰但细节多，重点在于理解“构建期（build）”和“运行期（execute）”分离的设计哲学——前者离线完成，后者极致轻量。熟练后，一个图像分类或检测模型从加载到首帧推理可在毫秒级完成。