1 月 8 日消息，在阿里云通義智能硬件展上，阿里云全新發(fā)布多模態(tài)交互開發(fā)套件。

　　該套件集成了千問、萬相、百聆三款通義基礎(chǔ)大模型，并預(yù)置十多款生活休閑、工作效率等領(lǐng)域的 Agent 和 MCP 工具，不僅能聽、會看，還能思考并且與物理世界交互，可應(yīng)用于 AI 眼鏡、學(xué)習(xí)機、陪伴玩具、智能機器人等硬件設(shè)備。

　　阿里云多模態(tài)交互開發(fā)套件宣稱為硬件企業(yè)和解決方案商提供低開發(fā)門檻、響應(yīng)速度快、場景豐富的平臺，IT之家附亮點如下：

　　適配 30 多款終端芯片，硬件可快速接入

　　在芯片層面，該套件適配了 30 多款主流 ARM、RISC-V 和 MIPS 架構(gòu)終端芯片平臺，滿足市面上絕大多數(shù)硬件設(shè)備的快速接入需求。

　　未來，通義大模型還將與玄鐵 RISC-V 實現(xiàn)軟硬全鏈路的協(xié)同優(yōu)化，實現(xiàn)通義大模型家族在 RISC-V 架構(gòu)上的高效部署和推理性能。

　　集成通義大模型，搭配 AI 硬件交互專有模型

　　在模型優(yōu)化層面，除通義模型家族外，阿里云還針對大量多模態(tài)交互場景進行分析，推出適合 AI 硬件交互的專有模型，全面支持全雙工語音、視頻、圖文等交互方式，端到端語音交互時延低至 1 秒，視頻交互時延低至 1.5 秒。

　　預(yù)置 MCP 工具與 Agent，接入百煉平臺生態(tài)

　　此外，該套件預(yù)置十多款 MCP 工具和 Agent，覆蓋生活、工作、娛樂、教育等多個場景。例如，基于預(yù)置的出行規(guī)劃 Agent，用戶可直接調(diào)用路線規(guī)劃、旅行攻略、吃喝玩樂探索等能力。

　　該套件還接入了阿里云百煉平臺生態(tài)，用戶不僅可以添加其他開發(fā)者提供的 MCP 和 Agent 模板，還能通過 A2A 協(xié)議兼容三方 Agent，擴展了應(yīng)用的能力邊界，幫助企業(yè)靈活搭建業(yè)務(wù)場景。

　　阿里云還在現(xiàn)場展示了面向智能穿戴設(shè)備、陪伴機器人、具身智能等領(lǐng)域的解決方案。

　　例如，在 AI 眼鏡領(lǐng)域，基于千問 VL、百聆 CosyVoice 等模型，阿里云打造了感知層、規(guī)劃層、執(zhí)行層以及長期記憶的完整交互鏈路，可一站式實現(xiàn)同聲傳譯、拍照翻譯、多模態(tài)備忘錄、錄音轉(zhuǎn)寫功能。

　　面向家庭陪伴機器人場景，基于千問模型和多模態(tài)交互套件，阿里云推出的解決方案不僅可實時監(jiān)測異常狀況，并及時告警信息推送，用戶還能基于關(guān)鍵詞查找、定位視頻，與機器人進行對話交互和控制設(shè)備等。