Ecosyste.ms: Timeline
Browse the timeline of events for every public repo on GitHub. Data updated hourly from GH Archive.
Betty-J opened an issue on modelscope/ms-swift
微调deepseek-vl-1_3b-chat报错“RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one.”
如题，执行脚本如下： ``` CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 NPROC_PER_NODE=8 swift sft \ --model_type deepseek-vl-1_3b-chat \ --model_id_or_path /Deepseek_VL/deepseek-vl-1.3b-chat \ --da...
Betty-J created a comment on an issue on modelscope/ms-swift
> 微调时候的acc是在teaching force情况下的token级别的准确率，并不能代表acc最高的模型就是最优的。 > > 通常情况下，指标最优的模型在acc最大/loss最小的后几个epoch处 （例如在第一个epoch后loss最小，但可能评测最优的模型在第3个epoch后，甚至第5个epoch后）。毕竟teaching force的token生成和step by step...
Betty-J created a comment on an issue on zhyx12/EIDCo
> Thank you for your attention, the code has been updated, and I'm happy to hear your feedback. Thanks for reply! I looked through the code you published and it seems to contain scripts for ma...
Betty-J closed an issue on modelscope/ms-swift
关于temperature与do_sample参数的默认设置
您好，我在微调时设置了`--do_sample false`，但在微调后的模型配置文件 sft_args 中发现` "temperature": 1.0`，这与命令行参数中描述的并不一致。 <img width="586" alt="截屏2024-10-22 10 45 45" src="https://github.com/user-attachments/assets/7e2af964...
Betty-J created a comment on an issue on modelscope/ms-swift
> 当do_sample为false, 会将temperature设置为默认值, 来避免出现警告 感谢回复
Betty-J created a comment on an issue on modelscope/ms-swift
> 那 0.1是哪来的呢 没定位到哪里设置的，没有显式设置，而且为什么设置--do_sample false 会出现 temperature 1.0 呢
Betty-J created a comment on an issue on modelscope/ms-swift
> 设置do_sample false的时候, 你是不是还设置了temperature 0.1 并没有设置temperature参数，它是默认的None，而且我在微调后的模型配置文件中发现temperature对应的实际数值是1.0。 ![截屏2024-10-22 13 22 21](https://github.com/user-attachments/assets/6b117ed0-...
Betty-J opened an issue on modelscope/ms-swift
关于temperature与do_sample参数的默认设置
您好，我在微调时设置了`--do_sample false`，但在微调后的模型配置文件 sft_args 中发现` "temperature": 1.0`，这与命令行参数中描述的并不一致。 <img width="586" alt="截屏2024-10-22 10 45 45" src="https://github.com/user-attachments/assets/7e2af964...