【大河财立方 记者 陈薇 王宇 文图】上海浦东美术馆AI讲解员上岗了。1月20日,字节跳动旗下豆包与上海浦东美术馆达成合作,成为该馆“图案的奇迹:卢浮宫印度、伊朗与奥斯曼的艺术杰作”与“非常毕加索:保罗•史密斯的新视角”两个国际大展的官方AI讲解员。
与以往语音讲解需要观众扫描标签才能获取讲解词不同,豆包AI讲解员只需要观众用手机的摄像头对准展品,就可以获得相关产品的介绍,同时观众还可以持续追问感兴趣的问题,获得连续、自然、像人类讲解员一样的对话交互。
这次AI成了你的逛展“搭子”
此次在上海浦东美术馆上线的“图案的奇迹”,是卢浮宫在中国举办的规模最大的展览,汇集来自印度、伊朗与奥斯曼帝国的约300件16世纪至19世纪艺术珍品,涵盖陶瓷、珠宝、地毯等多种类型。“非常毕加索”则是巴黎毕加索博物馆国际巡展的中国首站,展出80件毕加索代表作品,空间由英国设计大师保罗•史密斯特别设计,构成国内迄今最完整的毕加索艺术呈现。
对很多国内的观众来说,对这些国外的展品本就了解不多,如果没有来得及请专业讲解,逛展览可能因为信息不足而变得非常乏味。而豆包作为AI讲解员,就能一定程度补位讲解员的角色,丰富逛展体验。
在实际使用中,观众可通过豆包App的“视频通话”或拍照提问方式,与展品进行实时交互,豆包可识别观众当前视角下的具体作品,按照观众提问的角度,围绕作品的历史背景、艺术风格、创作技法与文化语境进行多轮讲解。同时,系统支持通用与亲子两种解说模式,以适配不同观展人群。
例如,在“非常毕加索”展厅中,喜爱斗牛的毕加索创作了一系列的有关斗牛的作品。尽管从展厅的简介中观众可以得知毕加索为什么喜爱斗牛的时代背景,但在其中斗牛题材的画作上都引入了马的形象,作品简介中并没有解释这一做法的原因。
在这种情况下,观众就可以向豆包提问。豆包就会解释,马是传统斗牛的核心道具,斗牛仪式中,马常为披甲的 “佩罗塔斯”,是斗牛士的坐骑与助手,承担引诱、牵制公牛的功能。她还会进一步解释,马受伤或死亡是斗牛场常见的悲剧性场面,毕加索以此还原西班牙斗牛的残酷本质,甚至其还会延伸到毕加索其他相关画作,从更深刻的社会学维度来和观众互动马的象征链条。
陆家嘴集团副总经理、浦东美术馆董事长李旻坤表示,此次浦东美术馆与豆包的跨界合作让观众可以借助AI与艺术家隔空对话、解锁展览背后的故事,实现艺术的“千人千面”,美育资源也将突破时空限制。
AI讲解员可根据兴趣深度互动
其实博物馆引入语音讲解并非新鲜事物,只是传统的语音讲解,需要观众扫描展品的标签,讲解词一般也是提前录制,观众无法进一步与之互动获取自己感兴趣的维度。
不过在博物馆场景引入AI讲解员,也具备一定的挑战。豆包逛展项目负责人表示:“最大的挑战是保证内容的准确性。”不仅要求模型能区分外观高度相似的文物、理解小众且缺乏公开资料的展品,还要能在观众移动观展、从不同角度和距离观察同一件展品时,始终保持稳定识别。
为实现展览场景下的高可靠讲解,此次豆包与浦东美术馆通过独家数据合作与定向搜索优化,进一步提升了其在文物识别与内容讲解方面的准确性,并在交互中支持连续、深入追问。
上述负责人介绍,豆包的视频讲解功能基于Seed1.8模型的视频理解能力。目前Seed1.8在视频感知、流式、视频理解方面都达到了SOTA水平。它不再局限于“拍图、发送、提问,再拍图、再提问”的模式,而是能持续理解观众眼前不断变化的视角和场景,从而实现连续、自然、像人一样的对话交互。
不过,真人讲解员依然有着AI讲解员难以替代的温度。他们会更主动向观众推介一些有关展品的细节以及背景知识,而想从AI讲解员那里获取比较冷门的信息,更依赖观众追问水平。
但此次豆包与浦东美术馆的合作,标志着AI技术在专业艺术普及领域的进一步落地。此前,豆包曾与中国国家博物馆、中国钱币博物馆、河南博物院、山东博物馆、安徽博物院、成都博物馆以及洛阳博物馆七家国家一级博物馆达成合作,共同打造数字化看展体验区。
责编:王时丹 | 审校:张翼鹏 | 审核:李震 | 监审:古筝
下一篇:外交部发言人就中美关系答记者问