Page 8 - 何晓冬：智能交互时代服务业数字化的实践与思考

多模态智能对话与交互的技术前沿

知识获取与推理

复杂场景下的多轮对话与决策技术 • 基于非结构化文本的知识图谱构建

• 上下文建模和理解 • 基于知识图谱的知识推理
• 多意图识别 • 常识体系的构建与应用

• 基于用户画像的个性化应答生成 • 用户画像及行为预测

• 任务导向的全局对话策略优化 • 个性化精准推荐技术
• 融合知识与常识的对话决策

多模态交互技术

深度语义理解 • 包括视觉、语音、语言的多模态

• 信息检索 感知技术
• 深度语义匹配 • 跨模态常识知识学习

• 机器阅读理解 对话内容生成 • 多模态信息语义结构化
• 情感智能 • 跨模态知识映射、融合与迁移

• 可控性、可解释性的文本生成
• 话题引导与交流

• 生成有同理心的对话语言
[Zhang, Yang, He, Deng, “Multimodal

Intelligence”, IEEE JSTSP, March 2020)]