[THUDM/ChatGLM-6B]Deepspeed finetune需要多大的显存？

OS: Ubuntu 22.04
Python: 3.10
Transformers: 4.26.1
PyTorch: 1.12
CUDA Support: True

7

24GB batch size为1 都不够

kjgfjlkj

4

测试 deepspeed zero2 62G /单张

gawei1995

5

看你训练样本，调整一个参数，再搞个量化也许能成，不过12G确实有点少

TE-Raven

8

请问 显卡吞吐量如何 大概多少tokens/GPU/s

newtonysls

9

看你显卡型号

gawei1995

7

Duplicate of #556

zhangch9