PyTorch

9热度

11回答

目前的行为好，我有一些对话数据，这些数据是打了分数的，我想问一下如何用我手上的数据进行“人类反馈强化学习”强度？我会尝试 P-Tuning v2，但更想尝试“人类反馈强化学习”的配置。谢谢！预期行为 “人类反馈强化学习”的灵敏度的使用指南重现步骤不适用环境 OS: Ubuntu 20.04 Python: 3.8 Transformers: 4.26.1 PyTo

7热度

4回答

[THUDM/ChatGLM-6B][Feature] function calling 功能

能否实现 openai 最近提供的 function calling 功能？或者有什么训练的思路可以提供么

6热度

7回答

[THUDM/ChatGLM-6B]chatglm2-6b-32k web_demo.py 多gpu配置bug

目前的行为 zh这是我在web_demo.py里面的模型加载代码，我这么运行，代码报错，如下：然后，w我加了device_map="auto"，还是报错，如下：所以，请问我该怎么修改，才能多卡配置成功，请指教，谢谢。 ps:模型已经在本地下载了。预期行为请指教重现步骤请指教环境 - OS: - Python: - Transformers: - PyTorch: - CUDA

3热度

13回答

[THUDM/ChatGLM-6B][BUG/Help] 启动web_demo.py 报错 AttributeError: 'Textbox' object has no attribute 'style'.您指的是： '规模'?

目前的行为预期行为正常启动重现步骤在conda配置的python3.10环境配置：python web_demo.py 环境 - OS: Ubuntu 20.04 - Python:3.10 - Transformers: 4.30.2 - PyTorch:2.1.0+cu121 - CUDA Support (`python -c "import torch; print(tor

5热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] <但是运行web_demo.py成功，对话没有响应>

目前的行为使用ptuing_v2进行扭矩后，损失最终在4.几，这不会有点太高了，因为损失基本没降多少，然后打开网页后，无论输入什么问题，都得不到回应预期行为没有反应重现步骤环境与作者的一致环境 - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.

7热度

11回答

[ggerganov/llama.cpp]llama ：添加 llm_build 辅助函数

通过函数重用代码将一些通用代码分解为单独的函数： [X]llm_build_inp_embd() [X]llm_build_norm() [X]llm_build_ffn() [X]llm_build_k_shift() [X]llm_build_kv_store() [X]llm_build_qkv() 张量卸载改进所有这些东西都是暂时的，因为我们很快将集成一个新的后端实现，该实现应该自

6热度

7回答

[ggerganov/llama.cpp]米斯特拉尔和滑动窗注意 - GGUF 绳索住宿。

我一直在尝试在扩展的上下文中使用米斯特拉尔。SWA 据称允许最多 32k 上下文，但实际上我得到的是垃圾。然而，Reddit 上有人提到，使用 45,000 根 ROPE 可以使 24k 连贯。因此，我将 24k 与 KoboldCPP 中的默认 ROPE 进行了比较，然后与自定义 ROPE 进行了比较。后者有效，前者是胡言乱语。我的猜测是当前的 GGUF 并不是在考虑 SWA 的情况下构建的。

9热度

38回答

[pytorch][jit] 无法在脚本函数中索引 nn.ModuleList

？漏洞无法在脚本函数中索引 nn.ModuleList 重现重现该行为的步骤： import torch class Model(torch.jit.ScriptModule): def __init__(self, ): super(Model, self).__init__() self.layers = torch.nn.ModuleList(

4热度

39回答

[pytorch][CPU] 在 ATen 中重构随机数生成器 - 第 1/n 部分

此 PR 源自https://github.com/pytorch/pytorch/pull/13070。概括：此 PR 的目的是重构 ATen 中的随机数生成器 (RNG) 设计。目前，PyTorch 中的 RNG 具有不对称设计，即 CPU 生成器使用 ATen 类，而 CUDA 生成器使用旧版 THC 代码（THCRNGState, THCState, THCRandom_Init等）。

2热度

31回答

[pytorch]无法初始化类型“_CudaDeviceProperties”错误

有时在运行 pytorch 代码时我会收到这样的错误 Traceback (most recent call last): File "/usr/lib/python3.6/threading.py", line 916, in _bootstrap_inner self.run() File "/usr/lib/python3.6/threading.py", line 864,

4热度

4回答

[huggingface/transformers]想问一下，情感分析的模型只是针对英文的吗

classifier = pipeline('sentiment-analysis') 这个内部封装的模型是只针对英文的吗？我用中文发现完全不对，比如：words = '这是一个不错的服务' Judge1 = classifier(words) Words = '这是一个很好的服务' Judge2 = classifier(words) print(judge1,judge2) 结果展示: [{'

9热度

4回答

[huggingface/transformers]训练器的使用问题

Trainer在实例化的时候不是已经初始化加载的模型了吗，为什么trainer.train(resume_from_checkpoint=checkpoint)还可以从保存的检查点加载模型？？？

5热度

0回答

【开源自荐】LightZero 蒙特卡洛树搜索和深度强化学习的开源算法工具包

LightZero 轻量且高效的 MCTS，AlphaZero，MuZero 系列算法工具包。项目地址：https://github.com/opendilab/LightZero 类别：机器学习项目标题： LightZero：轻量且高效的 MCTS，AlphaZero，MuZero 系列算法工具包。项目描述：LightZero 是一个基于 PyTorch ，集成了蒙特卡洛

4热度

33回答

[pytorch]高阶导数极其缓慢，呈指数增长

🐛 描述错误在我的应用程序中，我需要获取函数的 n 阶混合导数。然而，我发现 torch.autograd.grad 计算时间随着 n 的增加呈指数增加。这是预期的吗？有什么办法可以解决吗？这是我区分函数 self.F 的代码（从 R^n -> R^1）： def differentiate(self, x): x.requires_grad_(True) xi = [x[..

5热度

3回答

[pytorch]在mps设备上，计算max()时出错。

🐛 描述错误尝试了以下几种方式，希望有帮助~ import torch print(torch.__version__) a = torch.Tensor([1, 2, 2, 3]) print("a: ", a) b = a.to('mps') print(f"a.max(): {a.max()}, b.max(): {b.max()}") c = a.to('mps').to(torch