ggml

1热度

11回答

[ggerganov/llama.cpp]llama ：添加 llm_build 辅助函数

通过函数重用代码 将一些通用代码分解为单独的函数： [X]llm_build_inp_embd() [X]llm_build_norm() [X]llm_build_ffn() [X]llm_build_k_shift() [X]llm_build_kv_store() [X]llm_build_qkv() 张量卸载改进 所有这些东西都是暂时的，因为我们很快将集成一个新的后端实现，该实现应该自

ggml gguf llama PyTorch 2024-03-22

---

3热度

9回答

[ggerganov/llama.cpp]具有异步内存分配/释放功能的 CUDA 内存池

内存池的自定义实现更改为 CUDA 设备内存池。如果设备由于某种原因不支持内存池，则会回退到旧的实现。 PS 我将 CUDA_CHECK 和 CUBLAS_CHECK 更改 id为dev_id因为警告“声明隐藏局部变量”

llama ggml CUDA 2024-03-22

---

9热度

18回答

[ggerganov/llama.cpp]最近我的多 GPU 坏了。ggml-cuda.cu:7068: 参数无效

先决条件 在提交问题之前，请您自己回答以下问题。 带有 python 绑定的 Git llama.cpp。 预期行为 推理就像以前一样。 目前的行为 推理失败并且 llama.cpp 崩溃。 环境和背景 蟒蛇3.10 / CUDA 11.8 失败信息（针对错误） llm_load_print_meta: BOS token = 1 '<s>' llm_load_print_meta:

gguf ggml Nvidia llama CUDA 2024-03-22

---

7热度

9回答

[ggerganov/llama.cpp]支持在 CPU 上运行 GGML_USE_CUBLAS=ON 构建

应该在没有 CUDA 运行时但model.n_gpu_layers = 0. master 中的当前行为在非 cuda 机器上抛出以下错误GGML_USE_CUBLAS=ON 掌握 中央处理器 CUDA_VISIBLE_DEVICES=-1 ./bin/main -m ../models/q8_0.v2.gguf -p "# Dijkstra's shortest path algorithm i

ggml CUDA gguf llama 2024-03-22

---

7热度

9回答

[ggerganov/llama.cpp]将 LORA 转换为 ggml 转换为 gguf

大家好你们好， 我有一个 Huggingface 模型（https://huggingface.co/andreabac3/Fauno-Italian-LLM-13B），我想将其转换为 gguf。 这是一个 LORA 模型，我可以使用 Convert-lora-to-ggml.py 将其转换为 ggml。 现在，当我尝试将其转换为 gguf 时，我尝试使用 Convert-llama-ggml-t

llama2 llama C++ gguf ggml 2024-03-22

---