zhangliwei7758/unity-AI-Chat-Toolkit：使用unity实现AI聊天相关功能

技术解读

以下内容由 GitRead 中文社区编辑团队基于项目 README 与官方资料整理，结合中文开发者的常见使用场景补充技术选型建议。具体以项目官方文档为准。

深度分析：Unity-AI-Chat-Toolkit 项目

项目背景与痛点

随着人工智能技术的迅速发展，聊天机器人及其背后的大型语言模型成为了诸多应用中不可或缺的一部分。然而，对于开发者而言，如何将这些强大的语言模型高效并优雅地集成到游戏开发平台 Unity 中，仍然是一项挑战。zhangliwei7758/unity-AI-Chat-Toolkit 项目正是为了解决这一痛点而来。它不仅提供了调用 chatgpt、chatglm 等大型语言模型的代码实现框架，还涵盖了微软 Azure 和百度 AI 的语音服务，特别适合需要支持跨平台通信和互动的开发者使用。

核心技术揭秘

技术架构分析

项目的实现依赖于 Unity 的强大的跨平台支持，确保代码能够在不同的操作系统和设备上运行。Unity-AI-Chat-Toolkit 利用 Web API 来提供语音服务，充分体现了 RESTful 架构的简洁性与灵活性，完美适配多个平台，包括 Windows、WebGL 和 Android。

数据流图

以下数据流图展示了从用户请求到响应的整个流程。通过外部 API 调用和语音服务集成，项目为复杂的互动场景提供了流畅且可靠的通信通道。

graph TD A[用户请求] --> B{"参数校验"} B -->|"通过"| C[执行业务] C --> D[调用 API] D --> E[获取响应] E --> F[语音处理] B -->|"失败"| G[返回错误] F --> H[数据反馈]

架构设计

架构师采用了一些设计模式，例如工厂模式和策略模式，这种设计使得系统能够灵活应对各种不同的 API 调用，同时支持多种语音服务提供商。通过抽象出不同的服务接口，项目简化了开发者直接处理各服务提供商 API 的复杂性。

功能亮点与差异

与同类竞品相比，Unity-AI-Chat-Toolkit 的核心亮点在于它能够同时支持文字和语音通信功能，并且针对不同的大型语言模型提供了异常高的支持度，包括但不限于 chatgpt 和 chatglm。这为开发者提供了一个极其灵活的工具集，使其能够轻松地根据项目需求选择适合的聊天机器人功能和语音服务。

应用场景与落地建议

对于希望在其 Unity 项目中集成聊天和语音服务的开发者来说，Unity-AI-Chat-Toolkit 是理想的选择。在生产环境使用时，开发者需要注意以下几点：

性能优化：根据应用的复杂度和访问量，适当的服务器和网络配置是必要的，以确保既能够高效处理大规模请求，又能够维持高质量的用户体验。
安全性：确保所有 API 调用和 Web 服务连接都是安全的，特别是在敏感数据传输的情况下。
服务无缝切换：虽然提供了多种语音服务的支持，但开发人员需要灵活应对不同服务提供商的接口差异，确保服务的平滑切换和无间断体验。

综合评价

Unity-AI-Chat-Toolkit 无疑是 Unity 开发者们的福音，它提供了一个综合全面的聊天和语音服务解决方案。项目解决了跨平台通信的一大痛点，并且采用了前沿的技术架构，使得其能够在多种环境中的运行表现优异。不过，在更具挑战性的应用场景下，开发者可能需要对系统进行一些额外的调整和优化以提升整体性能和安全性。

优点：

支持多种大型语言模型。
平台兼容性强，支持从 Windows 到移动平台的多种设备。
简洁的设计让语音服务的集成变得简单。

缺点：

需要针对不同 API 和语音服务提供商进行适配。
大规模部署下可能需要额外的服务器负载和性能优化。

Unity-AI-Chat-Toolkit

这是一个提供给unity开发者的工具库，用于快速实现AI聊天相关功能。目前这个库包含了对chatgpt、rwkv以及chatglm等大语言模型的api调用的代码实现以及实现了微软Azure以及百度AI的语音合成、语音识别的web api接入。在这个库我们可以通过这代码库，在unity上，快速实现跨平台的应用。

1. unity版本要求

要求unity2020.3.44及以上版本

2. 工具内置功能说明

这个工具是根据我之前的AI二次元小姐姐项目整合后的工具包，目前是整合了通用模块，把相关模型包括Vroid以及live2d模型全部删除了，如果需要使用老版本资源的话，文档后面我会放上传送门，自行下载就可以了。

2.1 项目的主要结构

目前这个工具，主要模块包括LLM以及TTS&&STT两个模块：

LLM模块：

=====================

实现的就是针对不同的大语言模型的api调用的代码实现。目前已经实现的大语言模型包括：

chatgpt:

集成了chatgpt 3.5/4 的api接口，使用这个脚本，需要在脚本参数里填写openai的api key, 默认设置的模型是chatgpt-3.5,如果要替换chatgpt4，需要自行修改模型名称；

chatglm:

集成了对chatglm官方示例的api接口，如果使用chatglm官方的仓库部署的api服务，就可以直接使用，需要配置的内容是，配置部署好的api地址即可；

rwkv:

集成了针对rwkv runner开源项目的api接口，因为rwkv runner这个项目的api格式和chatgpt是一样的，如果下载rwkv runner这个项目使用的话，可以使用工具提供的脚本，只需要在api地址参数配置实际的地址就可以了。

星火大模型:

集成了科大讯飞的星火大模型的api对接功能，可根据需求自行配置V1.5/V2.0版本

百度智能云千帆大模型平台:

集成了百度智能云千帆大模型平台模型api服务，包括文心一言等十种模型

智谱AI开放平台:

集成了智谱AI开放平台下，chatGLM Turbo模型的api支持

Ollama工具:

集成对Ollama部署的本地大模型的API调用支持，可以利用chatOllama模块驱动AI小姐姐聊天

DeepSeek:

集成对DeepSeek的API调用支持

阿里云百炼平台:

集成对Qwen通义千问的API调用支持

TTS&&STT模块：

=====================

这个模块实现了对语言模型反馈信息的语音合成功能的代码实现，以及发送信息时，可能用到的语音识别服务相关的代码实现。目前已实现的语音产品包括：

微软Azure语音合成以及语音识别服务：

如果使用这个服务，需要准备微软Azure的语音服务令牌，自行注册账号，开通服务获得；

百度AI的语音合成以及语音识别服务：

使用这个服务时，注册百度AI开放平台的账号，开通语音合成、语音识别服务，创建应用获取到相关的密钥，填入相应脚本即可。

OpenAI平台提供的在线Whisper语音识别服务：

集成了openAI平台的Whisper在线语音识别api，需要使用openai的api key 集成了openAI平台的TTS语音合成api，可实现语音合成功能

提供针对开源的Whisper模型的api集成：

集成的项目是github上开源项目：https://github.com/ahmetoner/whisper-asr-webservice 部署这个项目，可使用本模块来调用语音识别的api

提供针对科大讯飞语音服务的api集成：

实现了对科大讯飞语音服务的api集成，采用了websocket方式，可使用科大讯飞的语音识别以及语音合成服务

提供针对阿里云语音服务的api集成：

实现了对阿里云语音服务的api集成，包括语音合成以及语音识别服务

WOV模块：

=====================

这个模块实现了关键词语音唤醒相关的功能，能够通过实时监听关键词，进行对话功能的唤醒

Unity内置关键词识别：

使用了windows.speech库，实现的关键词识别功能，支持在windows平台下的语音唤醒功能

角色口型：

=====================

使用了Oculus的Lipsync方案，并集成到了项目包里，可以使用本方案实现windows平台的音频转口型的效果。完整的插件地址，可以自行下载：https://developer.oculus.com/downloads/package/oculus-lipsync-unity/

2.2 模型如何使用

示例场景里编写了一个调用示例，查看一下ChatAgent对象。

在配置面板上，根据自己的需求，配置chatmodel以及tts\stt脚本就可以了。

3. 关于发布到WebGL方法

因为这个项目用到了unity内置的microphone类，webgl是不支持这个类的，所以工具也整合了别的大佬的解决方案，具体可在工具包路径下找到Tool,查看具体的配置说明。unity端的代码已经在示例场景做过配置，不需要再处理，只需要在导出的webgl项目中做相应的代码调整即可

4. 旧版本项目传送门

旧版本项目会包含chatgpt\chatglm\微软azure\baiduAI\VITS等几个项目示例，可以以下传送门获取

chatGPTAIGirlFriendSample：https://gitee.com/DammonSpace/chat-gptaigirl-friend-sample

vits-chatgpt-live2d-unity-wife：https://gitee.com/DammonSpace/vits-chatgpt-live2d-unity-wife

unity-AI-Chat-Toolkit

技术解读

深度分析：Unity-AI-Chat-Toolkit 项目

项目背景与痛点

核心技术揭秘

技术架构分析

数据流图

架构设计

功能亮点与差异

应用场景与落地建议

综合评价

相关仓库

关于

简要分析

贡献者

Unity-AI-Chat-Toolkit

1. unity版本要求

2. 工具内置功能说明

2.1 项目的主要结构

LLM模块：

chatgpt:

chatglm:

rwkv:

星火大模型:

百度智能云千帆大模型平台:

智谱AI开放平台:

Ollama工具:

DeepSeek:

阿里云百炼平台:

TTS&&STT模块：

微软Azure语音合成以及语音识别服务：

百度AI的语音合成以及语音识别服务：

OpenAI平台提供的在线Whisper语音识别服务：

提供针对开源的Whisper模型的api集成：

提供针对科大讯飞语音服务的api集成：

提供针对阿里云语音服务的api集成：

WOV模块：

Unity内置关键词识别：

角色口型：

2.2 模型如何使用

3. 关于发布到WebGL方法

4. 旧版本项目传送门

评论