28、数字产品记忆的交互模式与工业生产应用

数字产品记忆的交互模式与工业生产应用

1. 移动和电话场景的多模态架构设计与实现

在自动化环境中，如何让多模态对话应用为用户所用是一个关键问题。为了解决这个问题，我们对现有的电话服务器平台进行了扩展，使其成为一个能够承载多模态对话应用的平台。这个平台与智能自动化的传统图形用户界面（GUI）相连接，从而可以直接访问工业流程。

1.1 服务器平台基础设置

服务器基于Asterisk - Soft - PBX电话平台开发，并集成了语音对话系统。该设置使用媒体资源控制协议（MRCP）服务器进行语音识别和语音输出。语音对话系统采用了西门子企业技术对话管理器，其中包含一个SIP呼叫接收器，用于接受和处理SIP呼叫。为了满足原型应用的需求，基础设置进行了如下扩展：
- 配置电话号码 ：在PBX中配置内部和外部电话号码，以便通过综合业务数字网（ISDN）进行电话呼叫来访问对话系统。
- 实现系统发起的用户警报 ：对PBX进行配置，使其能够发起自动外呼，并将其连接到平台上的语音对话。此功能在客户订单应用中未使用，但可在未来应用中纳入。
- 扩展为多模态交互平台 ：将原始电话平台扩展为基于服务器的多模态交互平台，支持通过电话（ISDN或SIP）和标准网页浏览器进行交互。

1.2 多模态应用的GUI实现

多模态应用的GUI以HTML页面的形式实现，其优势在于可以在标准的互联网浏览器（如Firefox或Internet Explorer）中显示。为了实现语音对话与图形用户界面的同步，在对话应用中实现了一个GUI接口