chatglm

0热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 用P-Tuning v2微调之后进行推理发现是乱码？

效果：用户：类型#裙*版型#显瘦*风格#文艺*风格#简约*图案#印花*图案#撞色*裙下摆#压褶*裙长#连衣裙*裙领型#圆领 ChatGLM-6B： WHICH衣的衣的衣，衣，衣，衣的衣，衣，衣，衣，衣，衣的衣，衣的衣，衣的衣，衣的衣，衣，衣的 "&衣，衣，衣的 "\"的 "\"的衣，衣， "\"的衣代码： import os import torch from transfo

10热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning v2微调后，权重为1 bias为0

如题：我在用新的模型做ptuning微调的时候，在广告生成数据集上损失一直是4.0左右。模型后几层权重均为1，checkpoint文件大小从13g降低到了400M。 ptuning训练 LR=2e-3 PRE_SEQ_LEN=128 TRAIN_DATA_DIR=xxx/AdvertiseGenMini MODEL_DIR=xxx/lm/chatglm-6b MODEL_DIR=xxx/a

7热度

5回答

[THUDM/ChatGLM-6B]token padding之后推理结果不对，推理不出来

1、inputs = tokenizer([prompt], return_tensors="pt", padding='max_length', max_length=64)对token进行padding,推理结果不对 2、想要定长推理，所以每增加一个token，就删除一个padding ![Uploading image.png…]() Environment - OS:Ubuntu

9热度

5回答

[THUDM/ChatGLM-6B]训练数据labels打印出来全是-100

执行 bash train.sh 打印labels全是-100，训练完成之后调用模型，输出的全是空 1.训练数据参考的示例 2.模型训练成功，训练完成也能调用。查看日志发现打印的labels全是-100，调用pt模型，输出为空 Environment - OS:centos7 - Python:3.9 - Transformers:4.27.1 - PyTorch:1.13 - CUDA

4热度

15回答

[THUDM/ChatGLM-6B]请问怎么构建属于自己的数据集，或者CLM可以训练的数据集

自己按照官方提供的数据集格式，编写了十几条问答数据训练完成之后一点效果没有，想问问大家是怎么实现的 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

7热度

6回答

[THUDM/ChatGLM-6B]用ptv2微调，多卡跑，为啥第一张卡显存占满了，报oom

由于用量化的模型效果不佳，尝试用的fp16训，在8*v100出现，第一张卡报oom，但其他卡显存占用不高，有什么好的解决方式 v100 是否上可以训 fp16 run train.sh Environment 8*v100 cuda 11.2 batch size 1

9热度

7回答

[THUDM/ChatGLM-6B][Help] <ptuning时使用了多少条数据获得了较好的效果>

想问下各位已经微调过的同志，ptuning要获得较好效果需要使用多少条数据 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

8热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] <词表替换>

现在想要微调的项目中，有一些不在当前词表里面的token，想替换成词表中这样的token，词表中好像只有这一个。有什么解决办法吗？<|blank_*|>这些也是待使用的token吗？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; p

0热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning后多次加载问同一个问题，回复不相同

用广告生成数据集ptuning以后，加载多次询问同一个问题，模型回复不相同请问是什么原因呢？看起来像是模型某个参数在每次加载时是随机初始化的？有大佬帮忙看一下吗？ Expected Behavior No response 使用广告数据集ptuning后，pre_seq_len=64 加载多次询问“你是谁” Environment - OS:Linux - Python:3.9 - Tra

4热度

7回答

[THUDM/ChatGLM-6B]通过ptuning微调参数加载checkpoint后，推理逻辑不对了

这个是不是有问题呢，加载训练完后的checkpoint后，之前的推理逻辑都没了，这是加载训练checkpoint的代码这个结果明显不对啊训练用的json就是文档里的 bash ptuning/train.sh bash ptuning/evaluate.sh streamlit run web_demo2.py --server.port 6006 Environment -

2热度

11回答

[THUDM/ChatGLM-6B]chtglm量化后模型推理速度更慢了是什么原因？

模型量化后推理速度更慢 int8 量化速度更快直接 run Environment - OS: Ubuntu 20.04 - Python:3.8 - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

3热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] 使用deepspeed做全量finetune的时候，开启warmup_steps，保存下来的模型参数特别大。

使用deepspeed做全量finetune的时候，开启warmup_steps，保存下来的模型参数特别大。保存下来3块模型，每块23g如图但是加入我没有打开warmup_steps，就只保存下来两块模型，每个12g 请问有大佬遇到过吗训练脚本如下 LR=1e-4 MASTER_PORT=$(shuf -n 1 -i 10000-65535) deepspeed --num_gpu

8热度

5回答

[THUDM/ChatGLM-6B]【求助】两个节点多卡运行ds_train_finetune.sh遇到tcp超时问题

root@autodl-container-c6d2118f3c-5efc0d52:~/autodl-tmp/ChatGLM-6B/ptuning# bash zds_train_finetune.sh [2023-04-21 14:51:41,110] [INFO] [multinode_runner.py:65:get_cmd] Running on the following workers

5热度

4回答

[THUDM/ChatGLM-6B][BUG/Help] 加载chatglm-6b-int4微调模型报错：size mismatch for embedding.weight

首先我用train_chat.sh对chatglm-6b-int4模型进行训练。然后我尝试通过 https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning#%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2 的方法来加载微调后的模型。在执行model.transformer.prefix_encoder.load_state

3热度

11回答

[THUDM/ChatGLM-6B]采用自己的数据微调INT4模型，使用web_demo部署后推理，问一个问题在queue等待了190s后没有返回任何结果，请教大佬们这是什么原因导致的

1、用自己的数据微调INT4模型 2、使用web_demo部署微调模型 3、执行结果 Environment - OS:centos - Python:3.10 - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

1热度

5回答

[THUDM/ChatGLM-6B][BUG] evaluate时predict结果为空，

evaluate.sh内容： PRE_SEQ_LEN=128 CHECKPOINT=viewgen0421-chatglm-6b-pt-128-2e-2 STEP=5000 CUDA_VISIBLE_DEVICES=1 python3 main.py \ --do_predict \ --validation_file /home/workspace/data/dev.json \ --test_

7热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 单句推理显存持续增加

https://github.com/THUDM/ChatGLM-6B/issues/393 根据以上描述是由于要缓存context中的信息，如何才能每次调用后清理缓存，保证不会出现持续增加直至OOM的情况呢？ Environment - OS:CentOS - Python:3.8 - Transformers:4.27.1 - PyTorch:1.12.0+cu102 - CUDA S

4热度

6回答

[THUDM/ChatGLM-6B][Help] 生成的停止条件是什么

Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : linux 请问一下，chat或者stream_chat中调用的generate函数是如何判断要停止生成的呢？看了一下源码好像

7热度

7回答

[THUDM/ChatGLM-6B]关于ChatGLM模型的商用

感谢你们开源分享出ChatGLM-6B！在 [Model License]不允许商用，我们公司想在外接合同项目中商业使用ChatGLM-6B实现文档内容的指定字段抽取，请问若要商业使用你们的ChatGLM-6B 模型，如何收费？给出商用版

9热度

10回答

[THUDM/ChatGLM-6B]根据文档提供的内容进行微调后，丧失了原有的基本对话能力

根据文档中的方法进行微调后，询问例如“你是谁” “你叫什么” 都会回复所训练模型内容中相关的字眼，实际上询问的问题与训练的模型问题是不相关的是否有其他相关微调参数设置或者如何改进可以保留原有的对话能力？ 1、下载ADGEN 数据集并放入对应目录 2、运行bash train.sh进行训练 3、运行bash evaluate.sh进行推理 4、运行bash web_demo.sh进行测