Python

1热度

6回答

Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : linux 请问一下，chat或者stream_chat中调用的generate函数是如何判断要停止生成的呢？看了一下源码好像

6热度

7回答

[THUDM/ChatGLM-6B]关于ChatGLM模型的商用

感谢你们开源分享出ChatGLM-6B！在 [Model License]不允许商用，我们公司想在外接合同项目中商业使用ChatGLM-6B实现文档内容的指定字段抽取，请问若要商业使用你们的ChatGLM-6B 模型，如何收费？给出商用版

0热度

10回答

[THUDM/ChatGLM-6B]根据文档提供的内容进行微调后，丧失了原有的基本对话能力

根据文档中的方法进行微调后，询问例如“你是谁” “你叫什么” 都会回复所训练模型内容中相关的字眼，实际上询问的问题与训练的模型问题是不相关的是否有其他相关微调参数设置或者如何改进可以保留原有的对话能力？ 1、下载ADGEN 数据集并放入对应目录 2、运行bash train.sh进行训练 3、运行bash evaluate.sh进行推理 4、运行bash web_demo.sh进行测

4热度

5回答

[THUDM/ChatGLM-6B]请帮看下这个问题，

/home/ma-user/anaconda3/envs/PyTorch-1.8/lib/python3.7/site-packages/requests/init.py:104: RequestsDependencyWarning: urllib3 (1.26.12) or chardet (5.1.0)/charset_normalizer (2.0.12) doesn't match a s

3热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 全参数finetuing有办法打印验证集损失值么

求助，我想查看验证集情况，在ds_train_finetune.sh中设置--do_eval，但代码一直报错，大家是怎么解决的呢: 正常运行 Traceback (most recent call last): File "main.py", line 431, in main() File "main.py", line 397, in main predict_results = tra

8热度

5回答

[THUDM/ChatGLM-6B]A卡不能用嘛？6800显卡部署出错

AMD 6800显卡部署出错，AMD显卡是否可以使用该项目？ raise AssertionError("Torch not compiled with CUDA enabled") AssertionError: Torch not compiled with CUDA enabled 运行api.py，下载完产生如下错误： raise AssertionError("Torch not

5热度

5回答

[THUDM/ChatGLM-6B]添加了流式解码器，做到更好的控制台体验和更高的解码效率

流式解码目前的流式输出方式是每次都完整decode一遍整个输出内容，并且刷新屏幕。这样效率不是很高，同时也不利于通过网络来流式传输数据。最理想的方式应该是做到流式解码，每次只解码增量部分，于是我添加了一个SentencePiece的流式解码器以及一个配套的demo。代码说明解码器的原始实现参考的是SentencePieceProcessor的CPP代码，重写为python代码的同时为流式解码

7热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] M1 Pro 16G 提问一直卡住

您好，我这边M1 Pro 16G内存，运行python cli_demo.py的时候，内存能占到14G，swap也没有一直往上飙，GPU最高到30%，问一个你好，回答可能要七八分钟。参考了https://github.com/THUDM/ChatGLM-6B/issues/462 重新装了一遍环境，效果还是一样询问一个你好，时间超过7/8分钟，辛苦大佬帮忙看看 Environment -

5热度

6回答

[THUDM/ChatGLM-6B][Document] 更新Mac部署说明

更新Mac部署说明 Type: Document FILES: README.md; README_en.md Keywords: OPENMP; MPS 具体更新内容以chatglm-6b-int4量化模型为例，做如下配置：安装libomp的步骤; 对量化后模型等配置gcc编译项，并启用OMP加速推理；量化后模型启用MPS（然后失败）的解释。 Mac 启用OMP涉及https:/

7热度

5回答

[THUDM/ChatGLM-6B]在安装完Gradio之后，执行python web_demo.py时出错。请高手指点一下

在安装完Gradio之后，执行python web_demo.py时出错。请高手指点一下 E:\chatGLM\ChatGLM-6B>python web_demo.py Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code

4热度

11回答

[THUDM/ChatGLM-6B]使用p-tuning多卡微调OOM

使用432g的单机多卡微调直接oom，修改了train.sh中的CUDA_VISIBLE_DEVICES=0,1,2,3 Traceback (most recent call last): File "main.py", line 431, in main() File "main.py", line 370, in main train_result = trainer.train(resu

2热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] Windows下使用多卡P-tuning微调，出现OOM

Windows Server下使用多卡微调出现OOM 报错信息： OutOfMemoryError: CUDA out of memory. Tried to allocate 96.00 MiB (GPU 0; 22.50 GiB total capacity; 19.86 GiB already allocated; 0 bytes free; 19.93 GiB reserved in to

10热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 在windows部署，做ptuning训练时，下载好数据集，执行bash train.sh的时候报错

train.sh: line 3: $'\r': command not found Traceback (most recent call last): File "/mnt/e/cqy-gpt/gpt-fine-tune/ChatGLM-6B/ptuning/main.py", line 26, in import numpy as np ModuleNotFoundError: No mo

6热度

6回答

[THUDM/ChatGLM-6B]我在做数据集-不知道多轮对话数据最终是不是这样的？

# 想确认一下是不是这样的？ {"prompt": "长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "response": "用电脑能读数据流吗？水温多少", "history": []} {"prompt": "95", "response": "上下水管温差怎么样啊？空气是不是都排干净了呢？", "history": [["长城h3风扇不转

7热度

6回答

[THUDM/ChatGLM-6B]Deepspeed finetune需要多大的显存？

3060 12G显卡deepspeed训练时报显存不够 deepspeed训练需要多大显存？ Environment OS: Ubuntu 22.04 Python: 3.10 Transformers: 4.26.1 PyTorch: 1.12 CUDA Support: True

4热度

11回答

[THUDM/ChatGLM-6B]训练的时候为啥labels都是100，只显示第一个的回答的input和labels

input_ids [65326, 108258, 67164, 130001, 130004, 5, 80842, 6, 87361, 66810, 64709, 6, 66284, 66810, 64165, 64426, 65120, 68938, 85536, 11943, 63850, 67077, 63823, 72457, 63826, 65077, 63891, 64219, 64

8热度

9回答

[THUDM/ChatGLM-6B]chatglm-6B-int4 如何在 Mac M2 上微调

推理过程遇到的问题加载模型的时候，使用 float() 可以正常加载，但是如果使用 to("mps") 也会报错 model = AutoModel.from_pretrained("chatglm-6b-int4", trust_remote_code=True).float() File "/Users/diaojunxian/anaconda3/envs/py3.11/lib/py

3热度

14回答

[THUDM/ChatGLM-6B][BUG/Help] p-tuning v2 报错：RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.

GPU为单卡A100 运行p-tuning v2脚本后报错： Traceback (most recent call last): File "/mnt/dolphinfs/hdd_pool/docker/user/hadoop-shangchao/chenkunlong/main.py", line 431, in main() File "/mnt/dolphinfs/hdd_pool/do

3热度

3回答

[THUDM/ChatGLM-6B]P-tuning v2微调后只响应训练数据

P-tuning v2微调后，无论输入什么问题，都只响应训练的数据，即便这个问题是没训练过的/训练的数据只有一条，原有6B模型的内容好像都被覆盖了。我看其他issue有同样的问题，想知道如何解决或者是变相解决的解决方案正确的输出是不是应该在原有6B的基础上，增加了我想要的定制数据，即在他原有能力的基础上，丰富了一些个性化的问题的答案 train.sh： PRE_SEQ_LEN=128 LR=

8热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] ice_text.model词表长度与config里设置不一致

ice_text.model词表长度130344 >>> from transformers import AutoTokenizer, AutoModel >>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) >>>