[THUDM/ChatGLM-6B][Feature] function calling 功能

我自己也十分需要这个功能。之前我司内部产品我使用了 function calling 返回的 arguments 的 json 结构，实现了实体提取的功能。 现在因为合规要求，更换模型中，正在考虑 LLAMA2 的中文版本或者 ChatGLM ，然后都不能直接支持这个功能。 我的业务上的实体提取需要返回 json，但我并没有找到很好的方法，其中一个粗糙的方法是——假设我需要20个字段，而如果 LLM 不能保证稳定的 json 格式的返回，那我就反复丢全文给模型，每次获取一个字段的值，多费点电和时间，倒也不是不能近似解决。

说是近似，因为里面有个东西绕不开，有的时候我提取的部分字段是一个数组，数组里面又嵌套了一些其他字段，这个时候常规的 prompts 技巧就基本都不行，又回到了老路，很难确保它的输出准确。

在提供生产力方面， 现阶段， 别家和 OpenAI 的差距，比模型本身的能力差距还要巨大。

我自己在 huggingface 上发现了一个，虽然自己还没有测试

https://huggingface.co/Trelis/Llama-2-7b-chat-hf-function-calling

这个 issue mark 在这里，我也希望别人能给提供一些思路。我更希望看到其他模型商除了提供模型外，能更早的提供出这样的杀手级功能来。

这类能力的提供，对用户的帮助，某种程度上是可以实现弯道超车的。对开发者用户来说，模型的推理能力本身其实不一定是要求最高的，能成为一个可用的 tool 更重要。

就比如——如何确保 LLM 的稳定的，确定的，绝对不变的， json 化输出。

这种事可不能只指望用户的提示词工程。

遇到同样的问题，Function Call 商用的 API 都没有提供，调了一上午提示词都不满意

现在有好的解决了吗，我看官方的介绍说支持了 function call 功能了，但是文档和示例都不是很完整，没成功，是否有更好的指引来了解这个功能的使用？

现在有好的解决了吗，我看官方的介绍说支持了 function call 功能了，但是文档和示例都不是很完整，没成功，是否有更好的指引来了解这个功能的使用？

当前版本的 function call 功能并不算好用。