社区

一、什么是 “Wukong”？

涂鸦全新推出的 “Wukong” AI 硬件开发框架，是为实现 AI 硬件领域的商业化而专门开发设计的创新平台。它基于 TuyaOS 所构建，继承了诸多优势，如跨平台兼容性、模块化设计、低代码开发、组件化结构，以及卓越的互联互通和安全合规性。同时，该框架在文字、音频、图像处理等功能上都进行了显著增强。

"Wukong" AI 硬件开发框架支持多种大模型，可通过涂鸦云接入 deepseek、豆包、通义千问、Kimi、元宝等国内模型，海外则兼容 ChatGPT、Claude、Gemini 等先进大模型。这种多样化的支持，使得该框架能够灵活地应用于各种应用场景中，为开发者提供强大的工具箱。

通过大模型智能体与开发框架的结合，"Wukong" AI 开发框架实现了文字和语音对话、图片生成、视频生成等多种 AI 功能。这使其在消费电子、玩具、家电等 AI 硬件方向上展现出广泛的应用潜力。无论是为智能家居设备赋能，还是为互动玩具增添新颖功能，该框架都为开发者提供了高效、灵活的解决方案，推动 AI 硬件产品的创新与发展。

目前 "Wukong" AI 开发框架 1.0 版本已经发布，开发者基于该框架开发的 AI 玩具已经实现量产，并受到了品牌消费者的广泛认可。开发者如果想要开发自己的 AI 硬件产品，通过 Tuya Wind IDE 即可下载 "Wukong" AI 开发框架，接下来一起看下具体操作步骤。

二、如何获取该 AI 硬件开发框架？

1、复制下方链接安装 Tuya Wind IDE 插件，并了解 TuyaOS 开发流程：

https://developer.tuya.com/cn/docs/iot-device-dev/tuyaos-wind-ide?id=Kbfy6kfuuqqu3

2、启动 Tuya Wind IDE，进入“资源中心”，按照下图选择，申请开发框架权限，填写涂鸦商务邮箱（界面会有邮箱地址提示），即可发起申请。

3、审批通过之后，进入主页，点击“创建开发框架”，按照下图选择，即可创建开发框架。

4、一键编译 demo

5、如想在 Tuya T5 模组/开发板上体验 AI 玩具 demo，可复制下方学习资料链接，助你解锁更多 AI 硬件产品的玩法（开发板可以联系涂鸦商务获取，也可以从样品商店下单购买）

• T5- E1模组规格书： 

  https://t.tuya.com/AY1D3RFkFX

• 开发板原理图 1 可参考 PDF 版本介绍：

  https://t.tuya.com/AY1D3RFkG4

• T5-E1-IPEX 模组规格书：

  https://t.tuya.com/AY1D3RFkHV

• 开发板原理图 2 可参考（即将在样品商店上线）：

  https://t.tuya.com/AY1D3RFkIl

6、基于 demo 开发自己的 AI 语音产品（目前，“Wukong” 1.0 版本仅支持语音类接入，后续将更新更多个性化 AI 语音玩法）

三、如何快速开发？

1、初始化代码

OPERATE_RET __soc_device_init(VOID_T){ OPERATE_RET rt = OPRT_OK;
// ....... // .......
TY_AI_TOY_PARA_T para = TY_AI_PROC_PARA_AIBOX_HOLD; /* Network button initialization */ app_key_init(para.reset_key_pin); /* AI toy initialization */ TUYA_CALL_ERR_RETURN(ty_ai_toy_init(&para)); TUYA_CALL_ERR_RETURN(ty_ai_toy_start());
return 0;}

2、引脚和模式配置

开发 AI 玩具需要配置几个引脚，以实现系统重置、唤醒、扬声器开关等功能。Demo 示例程序通过 TY_AI_TOY_PARA_T 结构体进行参数设置，并预制了 5 个基本参数供快速启动，开发者可按需选择或根据自己的需求进行修改：

● TY_AI_PROC_PARA_DEF

● TY_AI_PROC_PARA_DEF2

● TY_AI_PROC_PARA_CUSTOM

● TY_AI_PROC_PARA_AIBOX

● TY_AI_PROC_PARA_AIBOX_HOLD（默认配置）

触发方式分短按连续对话和长按对话，目前 demo 只针对长按触发进行过优化。

3、系统重置引脚初始化接口

初始化重置引脚，实现长按引脚 5s 之后设备即可重置，并重新进入配网模式。

/*** @brief init reset key* @param[in] pin_id: key pin number*/
VOID_T app_key_init(TUYA_GPIO_NUM_E pin_id);

4、初始化接口

初始化 AI 玩具功能。

/*** @brief init ai toy demo** @param[in/out] para: init parameters* @return OPERATE_RET: OPRT_OK on success, others on failed*/OPERATE_RET ty_ai_toy_init(TY_AI_TOY_PARA_T *para);

5、启动接口

启动 AI 玩具功能。

/*** @brief start ai toy demo** @return OPERATE_RET: OPRT_OK on success, others on failed*/OPERATE_RET ty_ai_toy_start(void);

6、其它说明

demo 代码还包括了电量检测代码，如果对应的开发板没有电池检测，可以在代码中注释调用 tuya_ai_toy_battery_init 和 tuya_ai_toy_battery_uninit 两个接口。

高阶迭代：Coming soon

"Wukong" AI 开发框架 2.0 版本将在 2025年 Q1 发布，届时将支持文字、语音、文件、图片、视频等进阶性的 AI 处理能力；同时支持开发者直接连接第三方 AI 大模型，以开发更灵活、更高智能的 AI 硬件产品。

-END-

如需咨询商务合作或智能产品开发方案，可点击【阅读原文】，填写表单后，将有专人与您进行1对1服务哦~