[THUDM/ChatGLM-6B]通过ptuning微调参数加载checkpoint后,推理逻辑不对了

2024-06-12 564 views
5

image 这个是不是有问题呢, 加载训练完后的checkpoint后,之前的推理逻辑都没了,这是加载训练checkpoint的代码 image 这个结果明显不对啊 image 训练用的json就是文档里的

  1. bash ptuning/train.sh
  2. bash ptuning/evaluate.sh
  3. streamlit run web_demo2.py --server.port 6006
Environment
- OS: ubuntu
- Python: 3.8
- Transformers: 4.27
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : True

回答

1

同样的问题。

感觉这个模型根本不能调

5

同样的问题

5

我的是微调完后只能回答喵喵了

3

我的是微调完后只能回答喵喵了

你好,问一下哈,你的微调训练参数有自己调整吗?我的微调完推理时答复是空的,并且推理速度特别慢

1

没有

9

我也遇到了,ptuning v2调过之后就变傻子了。

3

Duplicate of #403