Ecosyste.ms: Timeline
Browse the timeline of events for every public repo on GitHub. Data updated hourly from GH Archive.
Tlntin closed an issue on Tlntin/Qwen-TensorRT-LLM
build报错
python build.py --hf_model_dir ./tmp/Qwen/7B \ --quant_ckpt_path ./tmp/Qwen/7B/int4-gptq/gptq_model-4bit-128g.safetensors \ --dtype float16 \ --re...
Tlntin closed an issue on Tlntin/Qwen-TensorRT-LLM
请问新手该如何正确的学习项目代码
大佬好，因为本人是第一次接触模型推理加速这样的项目，在经过一系列配置后已经能成功运行run.py文件，请问正确学习本项目的方式是啥样呀，应该从什么文件开始学习阅读呢
Tlntin reopened an issue on Tlntin/Qwen-TensorRT-LLM
关于新版的TensorRT-LLM（0.16.0）编译过程中出现的问题
您好，作者大大！ 非常感谢您的代码！我是通过https://www.http5.cn/index.php/archives/54/ 这篇文章认识到您的。您的代码给了我很大的帮助，社区因为你们而伟大。 因为我有通过`TensorRT-LLM`加速代码的需求，但是我没有本地的GPU，我用的也是autodl这个云服务器上面的GPU，但是autodl本身就是docker无法拉取官方的镜像。因此只...
Tlntin created a comment on an issue on Tlntin/Qwen-TensorRT-LLM
编译好的TensorRT-LLM（v0.16.0）镜像分享（点击图片跳转链接地址）： [
Tlntin created a comment on an issue on Tlntin/Qwen-TensorRT-LLM
> 问：我还有一些疑问想要请教一下，也就是说只要CUDA版本和cuDNN和python以及OS版本对应，就可以比较正常的编译对吗？因为公司使用的是autodl，里面最高的OS只到Ubuntu22.04，因此如果是0.16.0的话，系统版本可能就对应不上了，OS系统版本一定要严格对应是吗？ 答：最好一样，不一样可能会有奇奇怪怪的bug，甚至编译失败（之前有遇到过）。实在不行你可以用v0.15...
Tlntin created a comment on an issue on Tlntin/Qwen-TensorRT-LLM
- 最近有编译最新版的 v0.16.0在`优云智算`平台上，编译完的镜像还在审核中，编译过程可以发出来供你参考。 ------ ### 准备工作 - 观察一下现有TensorRT-LLM容器中的系统配置。 - 截止2025年1月13日，最新版TensorRT-LLM版本是v0.16.0 - 通过观察该[文件](https://github.com/NVIDIA/TensorRT-LLM/bl...