Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Appearance settings

LitLeo/TensorRT_Tutorial

Open more actions menu

Repository files navigation

中文翻译文档

  • 2023-9-27 增加 TensorRT8.5.3的中文翻译文档,使用Chat-GPT翻译+精校,chapter1-2

建议看最新视频版本!列表如下

进度记录

  • 2017-04-27 项目发起,创建GitHub仓库。
  • 2017-09-30 TensorRT 3最近发布,整理一下目前的资源。
  • 2017-10-18 增加博客-使用TensorRT实现leaky relu层
  • 2017-11-11 资源:新增google的INT8开源库
  • 2017-11-25 增加博客-TensorRT Plugin使用方式简介-以leaky relu层为例
  • 2020-8-31 增加博客《TensorRT Github 开源部分介绍》
  • 2020-9-7 增加博客《TensorRT 可借鉴代码汇总》
  • 2022-11-2 增加博客《Conformer Encoder GPU 加速策略较全面汇总》
  • 2022-11-2 增加博客《TensorRT 转换模型的几种方式比较》

资源整理


博客

TensorRT_Tutorial

TensorRT作为NVIDIA推出的c++库,能够实现高性能推理(inference)过程。最近,NVIDIA发布了TensorRT 2.0 Early Access版本,重大更改就是支持INT8类型。在当今DL大行其道的时代,INT8在缩小模型大小、加速运行速度方面具有非常大的优势。Google新发布的TPU就采用了8-bit的数据类型。

本人目前在使用TensorRT进行INT8的探究。已经被TensorRT不完善的文档坑了一次了。所以想自力更生做一个TensorRT Tutorial,主要包括三部分:

  • TensorRT User Guide 翻译;
  • TensorRT samples 介绍分析讲解;
  • TensorRT 使用经验。

感谢每一位为该翻译项目做出贡献的同学.

内容来源: TensorRT 下载页面: https://developer.nvidia.com/nvidia-tensorrt-20-download

TensorRT 文档、Samples 安装后对应目录中

参与者(按参与时间排序)

TensorRT User Guide 翻译

TensorRT samples 介绍分析讲解

TensorRT 使用经验。

欲参与者请加QQ群:483063470

支持捐赠项目

招实习生

【实习】【腾讯北京AILAB】招募AI异构加速实习生
简历直接给负责人,给简历保证迅速反馈。
基本条件: 熟悉c++,至少实习6个月
工作内容:

  1. 使用c++复现框架训练的模型并进行CPU、GPU、ARM加速,达到上线的性能要求。
  2. 调研各种inference框架并投入生产 加分项:
  3. 写过或者维护过深度学习框架代码;
  4. 会CUDA 开发,能自己写kernel,会用cublas,cudnn等库;
  5. linux cpu c++编程能力,会写avx、会用mkl;
  6. 熟悉深度学习计算过程
  7. 学习能力强,实习时间长 联系方式: lityangweiguang@163.com

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 2

  •  
  •  
Morty Proxy This is a proxified and sanitized view of the page, visit original site.