[THUDM/ChatGLM-6B]token padding之后推理结果不对，推理不出来

1、inputs = tokenizer([prompt], return_tensors="pt", padding='max_length', max_length=64)对token进行padding,推理结果不对 2、想要定长推理，所以每增加一个token，就删除一个padding ![Uploading image.png…]()

Environment

- OS:Ubuntu 20.04
- Python:3.7
- Transformers:4.26.1
- PyTorch:1.11
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Jessicamona

图片没上传成功

duzx16

猜测需要设置为pad_on_left?

irasin

经过测试 https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 目前的padding实现没有问题。

duzx16

猜测需要设置为pad_on_left?

请教下评估的时候为啥padding on left啊？

Tongjilibo

生成式模型，如果打batch的话，感觉padding on left更合理一些。有一些模型会根据attention mask计算position id的，如果padding on right的话，那就不对了

irasin

[THUDM/ChatGLM-6B]token padding之后推理结果不对，推理不出来

回答

相关问题