深度学习-TensorRT模型优化实践

本课程涵盖四个关键部分：首先，深入学习CUDA驱动API，包括使用方法、错误处理、上下文管理等，同时掌握CUDA的开发规范。其次，深入研究CUDA运行时API，力求简洁高效，重点介绍核函数编写以加速模型预处理，同时深入研究yolov5后处理的加速方法以及共享内存的应用。第三部分聚焦于TensorRT基础，包括模型编译、推理流程、onnx解析器的运用，以及对onnx结构的理解和编辑修改方法，还将学习int8量化、插件开发流程以及简化的插件开发方法，掌握动态shape的应用。最后一部分通过实际项目案例驱动，深入学习TensorRT高级应用，涵盖分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测等多个方面，同时学习深度学习所需的封装技术、多线程技术和框架设计技术。