据外媒报道，近日，日本三菱电机(MitsubishiElectricCorporation)公司宣布其研发了全球首款能够与人类进行高度自然其直观互动的技术，该技术基于场景感知能力，能够将多模态感知信息翻译成自然语言。该款新技术名为场景感知交互(Scene-AwareInteraction)，整合了三菱电机的专有MAIsart紧凑型AI技术，可以分析多模态感知信息，通过依赖于上下文情境生成的自然语言与人类实现高度自然且直观的交互。
该技术基于多模态感知信息，如摄像头捕捉的图像和视频、麦克风录下的音频信息以及激光雷达测量的定位信息，以识别情境中的物体。为了对这些不同类别的信息进行优先排序，三菱电机研发了注意力多模态融合技术(AttentionalMultimodalFusion)，能够自动加权突出的单模态信息，为准确描述场景而选择适当词汇。在采用通用测试集的基准测试中，注意力多模态融合技术采用音频和视觉信息来取得基于共识的图像描述评价(CIDEr)得分，发现比仅使用视觉信息的得分高出29%。三菱电机将注意力多模态融合与场景理解技术和基于情境的自然语言生成技术相结合，实现了强大的端到端场景感知交互系统，在不同场景下，都可以与用户实现高度直观的交互。
场景感知交互技术可用于汽车导航应用，为驾驶员提供直观的路线导航。例如，系统不再指示驾驶员“在50米内右转”，而是提供场景感知型指导，如“在邮箱前右转”或“跟着灰色的车向右转”。此外，该系统还会在预测到附近有物体的行进路径与车辆的行进路径相交时，生成语音警报，如“有行人正在过马路”。为了实现这一功能，该系统会分析场景，识别出场景中隐藏的视觉路标以及动态元素，然后利用此类东西识别物体和事件，为导航生成直观的句子指导。
利用深度神经网络进行物体识别、视频描述、自然语言生成和口语对话等技术最近取得了很多进展，可以让机器能够更好地理解周围的环境，并更自然、更直观地与人类互动。场景感知交互技术预计具有广泛的适用性，包括用于车载信息娱乐系统的人机接口、在建筑物中与机器人交互以及工厂自动化系统、监控人类健康状况的系统、为人类解释复杂场景的监测系统、鼓励保持社交距离的系统、在公共场所支持无触摸操作设备的系统等等。
共0条 [查看全部] 网友评论