Python

8热度

8回答

[babysor/MockingBird]UnboundLocalError: local variable 'sample_rate' referenced before assignment 报错

能打开BOX，但是，不知道为什么，不管用那种模型，合成出来的声音都听不了，就是全是杂音。（中英文都不得行）

3热度

3回答

音源是bilibili vup人间蜜药，总语音2000句，有效语音1700句链接：「mandarin.exe」https://www.aliyundrive.com/s/HKHLLwVcrrZ 提取码: 4nb7 点击链接保存，或者复制本段内容，打开「阿里云盘」APP ，无需下载极速在线查看，视频原画倍速播放。此模型仅供学习交流使用，严禁用于商业用途，下载后请于24小时内删除。使用本模型所导致

10热度

7回答

[babysor/MockingBird]运行pip install -r requirements.txt 来安装剩余的必要包时出错

Summary[问题简述（一句话）] A clear and concise description of what the issue is. 运行pip install -r requirements.txt 来安装剩余的必要包时出错 Env & To Reproduce[复现与环境] 描述你用的环境、代码版本、模型、 Screenshots[截图（如有）] If applicable

10热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 用P-Tuning v2微调之后进行推理发现是乱码？

效果：用户：类型#裙*版型#显瘦*风格#文艺*风格#简约*图案#印花*图案#撞色*裙下摆#压褶*裙长#连衣裙*裙领型#圆领 ChatGLM-6B： WHICH衣的衣的衣，衣，衣，衣的衣，衣，衣，衣，衣，衣的衣，衣的衣，衣的衣，衣的衣，衣，衣的 "&衣，衣，衣的 "\"的 "\"的衣，衣， "\"的衣代码： import os import torch from transfo

9热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning v2微调后，权重为1 bias为0

如题：我在用新的模型做ptuning微调的时候，在广告生成数据集上损失一直是4.0左右。模型后几层权重均为1，checkpoint文件大小从13g降低到了400M。 ptuning训练 LR=2e-3 PRE_SEQ_LEN=128 TRAIN_DATA_DIR=xxx/AdvertiseGenMini MODEL_DIR=xxx/lm/chatglm-6b MODEL_DIR=xxx/a

1热度

5回答

[THUDM/ChatGLM-6B]token padding之后推理结果不对，推理不出来

1、inputs = tokenizer([prompt], return_tensors="pt", padding='max_length', max_length=64)对token进行padding,推理结果不对 2、想要定长推理，所以每增加一个token，就删除一个padding ![Uploading image.png…]() Environment - OS:Ubuntu

4热度

5回答

[THUDM/ChatGLM-6B]训练数据labels打印出来全是-100

执行 bash train.sh 打印labels全是-100，训练完成之后调用模型，输出的全是空 1.训练数据参考的示例 2.模型训练成功，训练完成也能调用。查看日志发现打印的labels全是-100，调用pt模型，输出为空 Environment - OS:centos7 - Python:3.9 - Transformers:4.27.1 - PyTorch:1.13 - CUDA

5热度

15回答

[THUDM/ChatGLM-6B]请问怎么构建属于自己的数据集，或者CLM可以训练的数据集

自己按照官方提供的数据集格式，编写了十几条问答数据训练完成之后一点效果没有，想问问大家是怎么实现的 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

0热度

6回答

[THUDM/ChatGLM-6B]用ptv2微调，多卡跑，为啥第一张卡显存占满了，报oom

由于用量化的模型效果不佳，尝试用的fp16训，在8*v100出现，第一张卡报oom，但其他卡显存占用不高，有什么好的解决方式 v100 是否上可以训 fp16 run train.sh Environment 8*v100 cuda 11.2 batch size 1

2热度

7回答

[THUDM/ChatGLM-6B][Help] <ptuning时使用了多少条数据获得了较好的效果>

想问下各位已经微调过的同志，ptuning要获得较好效果需要使用多少条数据 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

0热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] <词表替换>

现在想要微调的项目中，有一些不在当前词表里面的token，想替换成词表中这样的token，词表中好像只有这一个。有什么解决办法吗？<|blank_*|>这些也是待使用的token吗？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; p

0热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning后多次加载问同一个问题，回复不相同

用广告生成数据集ptuning以后，加载多次询问同一个问题，模型回复不相同请问是什么原因呢？看起来像是模型某个参数在每次加载时是随机初始化的？有大佬帮忙看一下吗？ Expected Behavior No response 使用广告数据集ptuning后，pre_seq_len=64 加载多次询问“你是谁” Environment - OS:Linux - Python:3.9 - Tra

6热度

7回答

[THUDM/ChatGLM-6B]通过ptuning微调参数加载checkpoint后，推理逻辑不对了

这个是不是有问题呢，加载训练完后的checkpoint后，之前的推理逻辑都没了，这是加载训练checkpoint的代码这个结果明显不对啊训练用的json就是文档里的 bash ptuning/train.sh bash ptuning/evaluate.sh streamlit run web_demo2.py --server.port 6006 Environment -

9热度

11回答

[THUDM/ChatGLM-6B]chtglm量化后模型推理速度更慢了是什么原因？

模型量化后推理速度更慢 int8 量化速度更快直接 run Environment - OS: Ubuntu 20.04 - Python:3.8 - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

2热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] 使用deepspeed做全量finetune的时候，开启warmup_steps，保存下来的模型参数特别大。

使用deepspeed做全量finetune的时候，开启warmup_steps，保存下来的模型参数特别大。保存下来3块模型，每块23g如图但是加入我没有打开warmup_steps，就只保存下来两块模型，每个12g 请问有大佬遇到过吗训练脚本如下 LR=1e-4 MASTER_PORT=$(shuf -n 1 -i 10000-65535) deepspeed --num_gpu

5热度

5回答

[THUDM/ChatGLM-6B]【求助】两个节点多卡运行ds_train_finetune.sh遇到tcp超时问题

root@autodl-container-c6d2118f3c-5efc0d52:~/autodl-tmp/ChatGLM-6B/ptuning# bash zds_train_finetune.sh [2023-04-21 14:51:41,110] [INFO] [multinode_runner.py:65:get_cmd] Running on the following workers

3热度

4回答

[THUDM/ChatGLM-6B][BUG/Help] 加载chatglm-6b-int4微调模型报错：size mismatch for embedding.weight

首先我用train_chat.sh对chatglm-6b-int4模型进行训练。然后我尝试通过 https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning#%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2 的方法来加载微调后的模型。在执行model.transformer.prefix_encoder.load_state

4热度

11回答

[THUDM/ChatGLM-6B]采用自己的数据微调INT4模型，使用web_demo部署后推理，问一个问题在queue等待了190s后没有返回任何结果，请教大佬们这是什么原因导致的

1、用自己的数据微调INT4模型 2、使用web_demo部署微调模型 3、执行结果 Environment - OS:centos - Python:3.10 - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

5热度

5回答

[THUDM/ChatGLM-6B][BUG] evaluate时predict结果为空，

evaluate.sh内容： PRE_SEQ_LEN=128 CHECKPOINT=viewgen0421-chatglm-6b-pt-128-2e-2 STEP=5000 CUDA_VISIBLE_DEVICES=1 python3 main.py \ --do_predict \ --validation_file /home/workspace/data/dev.json \ --test_

1热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 单句推理显存持续增加

https://github.com/THUDM/ChatGLM-6B/issues/393 根据以上描述是由于要缓存context中的信息，如何才能每次调用后清理缓存，保证不会出现持续增加直至OOM的情况呢？ Environment - OS:CentOS - Python:3.8 - Transformers:4.27.1 - PyTorch:1.12.0+cu102 - CUDA S