tensorrt laboratory:探索TensorRT平台的功能 源码

TensorRT实验室 TensorRT实验室(trtlab)是构建客户推理应用程序和服务的通用工具集。 是专业级的生产推理服务器。 该项目分为4个主要组成部分: memory基于 , memory模块旨在为主机和gpu内存编写自定义分配器。 包括几个自定义分配器。 core包含主机/ ​​cpu端工具,用于基于boost光纤的常见组件(例如线程池,资源池和用户空间线程)。 cuda延伸memory具有用于CUDA设备存储器中的新memory_type。 在所有的自定义的分配memory可以使用device_memory , device_managed_memory或host_pi