Ecosyste.ms: Timeline
Browse the timeline of events for every public repo on GitHub. Data updated hourly from GH Archive.
sixsixcoder created a comment on an issue on THUDM/GLM-4
感谢您的解决方案，transformers4.46中把模型中的可执行文件集成在transformers代码中，原先的模型权重已经不兼容4.46版本，您可以选择降低transformers版本<=4.45或者在huggingface下载最新的模型权重https://huggingface.co/THUDM/glm-4-9b-chat-hf
sixsixcoder created a comment on an issue on THUDM/GLM-4
请问您遇到什么问题，环境配置，比如transformers、torch版本可以打印一下吗
sixsixcoder closed an issue on THUDM/GLM-4
执行basic_demo\vllm_cli_demo.py报错
### System Info / 系統信息 显卡A100 独立创建的conda环境 直接install requirement.txt ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My own...
sixsixcoder created a comment on an issue on THUDM/GLM-4
Please refer to this issue：https://github.com/THUDM/GLM-4/issues/578
sixsixcoder created a comment on an issue on THUDM/GLM-4
GLM-4使用vllm 0.5.x的版本可以正常运行，GLM-4暂时不支持最新版本的vllm
sixsixcoder created a comment on an issue on THUDM/GLM-4
您好，GLM4暂时没有添加PPLM模块的计划，如果您使用PPLM遇到GLM4相关的问题或者报错信息，可以提新的issue，我们尽力帮您解决。
sixsixcoder closed an issue on THUDM/GLM-4
glm-4-9b-chat模型 RuntimeError: probability tensor contains either `inf`, `nan` or element < 0
### System Info / 系統信息 cuda12.4 transformers4.45.0 torch2.4 ### Who can help? / 谁可以帮助到您？ @ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My own modified scripts / 我...
sixsixcoder closed an issue on THUDM/GLM-4
chatglm.cn这个链接是什么模型呢？
链接：https://chatglm.cn/main/alltoolsdetail?lang=zh 这个链接的模型挺好用。但是不知道这个具体是什么模型？chatglm4-9b吗？但是也支持多模态 这个模型有没有开源呢？ 不过glm-4v-9b不太好用（https://huggingface.co/spaces/Jimhugging/GLM-4-DOC）
sixsixcoder closed an issue on THUDM/GLM-4
数据集格式问题
### System Info / 系統信息 Cuda compilation tools, release 12.1, V12.1.105 absl-py 2.0.0 accelerate 0.33.0 addict 2.4.0 aiofiles ...
sixsixcoder closed an issue on THUDM/GLM-4
Can glm 4v 9b use int4 for vllm inference
### System Info / 系統信息 cuda 12 vllm 0.6.3 ### Who can help? / 谁可以帮助到您？ @sixsixcoder ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My own modified scripts / 我自己修改的...
sixsixcoder closed an issue on THUDM/GLM-4
请教一下，glm-4v会支持vllm推理吗？
### Feature request / 功能建议 glm-4v使用vllm推理。 ### Motivation / 动机 目前想尝试服务器部署，使用多客户端对glm4v的api server发起请求，但是用Transformers推理返回结果太慢。看到glm4-chat用vllm推理的速度快了不少，因此希望4v也能支持vllm推理。 ### Your contribution ...
sixsixcoder closed an issue on THUDM/GLM-4
对于同一个问题，多条输出和单条输出答案不一致。
### System Info / 系統信息 11 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My own modified scripts / 我自己修改的脚本和任务 ### Reprod...
sixsixcoder closed an issue on THUDM/GLM-4
RuntimeError: probability tensor contains either inf, nan or element < 0
### System Info / 系統信息 cuda: 12.2（安装的pytorch是cuda-12.1的） transformers：4.44.0 python：3.10 OS：kylinV10 显卡是：NVIDIA A100-SXM4-40GB（隔壁有问是不是这个问题，所以一并列出：https://github.com/QwenLM/Qwen2-VL/issues/44...
sixsixcoder created a comment on an issue on THUDM/GLM-4
第一个问题后续可以支持，第二个问题： GLM-4v的图像处理写到了vllm内部，所以就省去了自行tokenizer的过程，所以可以直接传递text和image，直接传这两个参数得按照vllm的输入规范，这个已经是最简洁的最新版本了 ``` { "prompt": "xxxx", "multi_modal_data": { ...
sixsixcoder closed an issue on THUDM/GLM-4
执行微调文件finetune.py显示TypeError: FinetuningConfig.__init__() got an unexpected keyword argument 'freezeV'
### System Info / 系統信息 环境cuda 12.1 py3.10 显卡3090 D  ### Who can help? / 谁...
sixsixcoder closed an issue on THUDM/GLM-4
GLM-4v-9b运行报错：TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argument 'padding_side'
### System Info / 系統信息 所有硬件条件正确，环境正确。因为所有代码、环境、设备等都未改动，在一个月前能够是能够正常运行的。而现在无法正常运行，不知道问题出在哪里。 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts...
sixsixcoder closed an issue on THUDM/GLM-4
干净环境运行 trans_cli_demo.py 产生报错 TypeError: _pad() got an unexpected keyword argument 'padding_side'
### System Info / 系統信息 python=3.9 CUDA Version: 12.4 GPU：4090 24G 新建的干净环境使用 pip install -r requirements.txt 安装的环境。安装版本与 requirements 相同 ### Who can help? / 谁可以帮助到您？ @wwewwt @cenyk1230 ##...
sixsixcoder closed an issue on THUDM/GLM-4
使用openai api调用lora微调后的模型出错
### System Info / 系統信息 CUDA Version: 12.2 Transformers：4.45.1 Python：3.10.12 操作系统：ubuntu vllm：0.6.2 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official ...
sixsixcoder closed an issue on THUDM/GLM-4
GLM-4使用的是Deepnorm吗？
### Feature request / 功能建议 GLM-4使用的是Pre-Norm还是Deepnorm（Post-Norm）？ ### Motivation / 动机 [Techinical Report](https://arxiv.org/abs/2406.12793)中的说法，应该是沿用了GLM-130b的Deepnorm。 但是[huggingface](http...
sixsixcoder closed an issue on THUDM/GLM-4
glm-4v的模型文件中的ChatGLMModel类中1033行的inputs_embeds覆盖问题
### System Info / 系統信息 和官方一样 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My own modified scripts / 我自己修改的脚本和任务 ### Rep...
sixsixcoder closed an issue on THUDM/GLM-4
我希望能将glm4 composite_demo中特别是工具调用功能能够用api接入前端，该如何操作
### System Info / 系統信息 stream页面可以正常使用 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [ ] The official example scripts / 官方的示例脚本 - [ ] My own modified scripts / 我自己修改的脚本和任务...
sixsixcoder closed an issue on THUDM/GLM-4
Process finished with exit code -1073741819 (0xC0000005)
Process finished with exit code -1073741819 (0xC0000005) 启动代码加载模型时报错，请问是为啥啊？
sixsixcoder closed an issue on THUDM/GLM-4
glm4回复一段时间后会出现乱码
### System Info / 系統信息 ubuntu20.04 华为mindie环境下 ### Who can help? / 谁可以帮助到您？ @ ### Information / 问题信息 - [ ] The official example scripts / 官方的示例脚本 - [X] My own modified scripts / 我自己修改的脚本和任务 ...
sixsixcoder closed an issue on THUDM/GLM-4
ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Tesla V100-PCIE-32GB GPU has compute capability 7.0. You can use float16 instead by explicitly setting the`dtype` flag in CLI, for example: --dtype=half.
### System Info / 系統信息 CUda 11.7 ，Python 3.10.12 gpu V100 32G 显存。 vllm 0.5.4 vllm-flash-attn 2.6.1 其他按照basic_demo里面的requirements安装的。 ### Who c...
sixsixcoder closed an issue on THUDM/GLM-4
GLM-4-flash的API有进行相关评测benchmark分数吗
### Feature request / 功能建议 GLM-4-flash的API有进行相关评测benchmark分数吗 ### Motivation / 动机 GLM-4-flash的API有进行相关评测benchmark分数吗 ### Your contribution / 您的贡献 GLM-4-flash的API有进行相关评测benchmark分数吗