本文是LLM系列文章,针对《Embedding Large Language Models into Extended Reality: Opportunities and Challenges for Inclusion, Engagement, and Privacy》的翻译。
将大型语言模型嵌入扩展现实:包容、参与和隐私的机遇和挑战
摘要
计算机图形、硬件、人工智能(AI)和人机交互的最新发展可能会导致扩展现实(XR)设备和设置更加普及。虽然这些设备和设置为用户提供了具有不同感知模式(如眼睛和手跟踪器)的交互式、引人入胜和身临其境的体验,但许多非玩家角色是以预先编写脚本的方式或通过传统的人工智能技术使用的。在本文中,我们主张在XR中使用大型语言模型(LLM),方法是将其嵌入虚拟化身或作为叙事,通过根据用户档案进行提示工程,并为特定目的微调LLM,以促进更具包容性的体验。我们认为,这种包容性将促进XR使用的多样性。此外,我们相信,凭借LLM的多功能对话功能,用户将更多地参与XR环境,这可能有助于XR在日常生活中得到更多使用。最后,我们推测,将用户提供给LLM赋能环境的信息与通过传感器获得的生物特征数据相结合,可能会导致新的隐私侵犯。在研究此类可能的隐私侵犯时,还应调查用户的隐私问题和偏好。总之,尽管存在一些挑战,但将LLM嵌入XR是一个有前景的新研究领域ÿ