GNU General Public License v3.0

技术解读

以下内容由 GitRead 中文社区 编辑团队基于项目 README 与官方资料整理, 结合中文开发者的常见使用场景补充技术选型建议。具体以项目官方文档为准。

奇想盒Whimbox:深度技术分析

项目背景与痛点

在当前的数字娱乐领域,玩家对游戏体验质量的需求日益提升。其中,《无限暖暖》以其独特的换装玩法吸引了大量玩家。然而,游戏中的复杂换装操作和海量服装配置让玩家感到头疼。奇想盒Whimbox利用AI智能体来简化这一过程,通过图像识别与大语言模型技术辅助玩家更快速、高效地享受游戏。

核心技术揭秘

Whimbox的核心在于其基于大语言模型和图像识别技术的AI智能体。这一智能体通过对游戏中服装及换装过程的深度理解,可以自主推荐搭配方案,甚至直接动手操作换装步骤。

技术架构图

graph TD A[用户请求] --> B{"参数校验"} B -->|"通过"| C[执行业务] C --> D{"图像分析"} D -->|"识别成功"| E[大语言模型] D -->|"识别失败"| F[尝试错误恢复] E --> G[生成建议] G --> H[执行换装] F --> H H --> I[结果反馈]

架构图展示了 Whimbox 的工作流。用户请求首次被传至系统时,通过参数校验过滤非法请求。合法请求进入执行阶段,数据流进入图像分析引擎进行识别。识别成功后,大语言模型基于分析结果生成搭配方案,随后指引换装操作,最终通过结果反馈完成用户交互。

功能亮点与差异

相比较于同类的换装辅助工具,Whimbox 利用 AI 模型自行学习和优化策略,从而提供给用户个性化的换装体验。此外,图像识别技术提升了对游戏中服装和背景元素的识别精度,使得后续的搭配建议更精准且实用。

应用场景与落地建议

在生产环境中,Whimbox 需要注意机器学习模型的训练周期与数据获取。此外,图像识别的准确率在不同光照条件或游戏版本间有所差异,开发团队应持续优化模型以均匀适应场景变化。

最佳应用场景包括但不限于:

  • 游戏运营团队,用于生成官方换装推荐视频。
  • 玩家,用于个性化搭配建议,节省流逝在游戏内时间。
  • 协同直播环境中,博主可在介绍游戏时愉快地切换服饰而不影响直播体验。

综合评价

奇想盒 Whimbox 的核心技术为其增色不少,通过结合大语言模型和图像识别,从用户体验层面进阶提供定制化服务。这显然弥补了传统换装工具机械且单一的痛点。但也需要注意的是,其精准度仍需进一步提升,尤其是在高度差异化的游戏环境下。未来,通过持续的学习与优化,Whimbox 能够更自如地应对更多变的游戏内容。

README

logo 不会画画,先放个红温星在这里凑合一下

Whimbox · 奇想盒

Whimbox,基于大语言模型和图像识别技术的AI智能体,辅助你游玩无限暖暖!
想了解更多?请前往奇想盒主页

如何运行

❗奇想盒2.0已经上线啦,请通过奇想盒app运行,奇想盒app项目地址

❗本项目为奇想盒后端,已不再提供UI界面,仅负责rpc服务、大模型调用、工具调用

✅ 如果你想用命令行的方式运行一条龙,你可以这样做

  1. 先保证通过奇想盒app能够正常运行一条龙
  2. 在一条龙配置中勾选“启动奇想盒时,自动运行一条龙”
  3. 通过命令行启动whimbox_app.exe

✅ 如果你想一条龙运行完成后自动关闭游戏和奇想盒:

  1. 在一条龙配置中,勾选“一条龙结束后,关闭游戏和奇想盒”

如何开发

  1. 本项目仅支持python3.12
  2. 等我梳理项目框架…

已有功能

  • 每日任务
    • 美鸭梨挖掘
    • 素材激化幻境
    • 闪光祝福幻境
    • 魔物试炼幻境
    • 周本
    • 完成朝夕心愿
    • 完成星海拾光
    • 收集星光结晶
    • 领取大月卡
    • 奇迹之冠巅峰赛
  • 自动小功能
    • 自动对话、自动采集、自动钓鱼、自动清洁跳过
  • 自动跑图
    • 跑图路线录制、编辑
    • 自动跑图(暂时只支持大世界和星海)
    • 自动采集、捕虫、清洁、钓鱼
  • 录制宏
    • 录制操作和播放操作(不支持视角转动的操作)
  • 自动弹琴
    • MIDI乐谱转奇想盒脚本
  • AI对话
    • 通过自然语言让奇想盒执行上述功能
    • 一定程度上支持SKILL
    • 通过微信远程控制奇想盒

未来计划

  1. 大模型能力扩展:脚本运行异常,大模型接管进行纠错
  2. 悬浮窗显示网页,方便视频跟跑和查看美鸭梨地图

注意事项

  • Whimbox不会修改游戏文件、读写游戏内存,只会截图和模拟鼠标键盘,理论上不会被封号。但游戏的用户条款非常完善,涵盖了所有可能出现的情况。所以使用Whimbox导致的一切后果请自行承担。
  • 由于游戏本身已经消耗PC的大量性能,图像识别还会额外消耗性能,所以目前仅支持中高配PC运行,功能完善后会开发云游戏版本。
  • Whimbox目前仅支持标准16:9分辨率运行的游戏。

致谢

感谢各个大世界游戏开源项目的先行者,供Whimbox学习参考。

感谢openclaw和nanobot项目,为奇想盒的AI注入灵魂

感谢chatgpt、cursor、claude、codex等各种AI模型和AI编程工具

加入开发

项目还有大量功能需要开发和适配。如果你对此感兴趣,欢迎加入一起研究。开发Q群:821908945。

项目结构

Whinbox/
├── whimbox/                        
│   ├── ability/                  # 能力切换模块
│   ├── action/                   # 动作模块(拾取、钓鱼、战斗等等)
│   ├── agent_workspace/          # 大模型上下文管理
│   ├── api/                      # ocr,yolo等第三方模型
│   ├── assets/                   # 地图、特征截图、配置文件、文件模板等资源
│   ├── common/                   # 公共模块(日志、工具等等)
│   ├── config/                   # 全局配置模块
│   ├── dev_tool/                 # 开发工具
│   ├── interaction/              # 交互核心模块(截图、操作)
│   ├── map/                      # 地图模块(小地图识别,大地图操作)
│   ├── task/                     # 任务模块(各种功能脚本,供agent调用)
│   ├── ui/                       # 游戏UI的识别和操作
│   ├── view_and_move/            # 视角和移动模块
│   ├── main.py                   # 程序入口
│   ├── agent.py                  # 大模型agent
│   └── rpc_server.py             # 与前端通信的rpc服务器
├── configs/                      # 配置文件
│   ├── agent_workspace/          # 存放agent的记忆
│   └── config.json               # 项目的配置文件
├── scripts/                      # 自动跑图和宏的脚本仓库
├── logs/                         # 日志文件
└── build.bat                     # 一键打包脚本

评论

暂无评论