5G 全息远程互动智慧教室设计与应用

摘 要 智慧教室是推动现代信息技术与教育教学深度融合的重点研究领域和研究热点。首先分析智慧教室发展现状,指出利用常规智慧教室开展远程教学活动时存在的互动性不足、临场感缺失等问题。然后基于全息投影技术全沉浸性、全数据化、全互动性的特征,以及5G通信技术高带宽、低延时的优势,提出一种融合5G和全息投影技术的新型远程互动智慧教室设计方案,并在方案整体架构、各软硬件子系统设计以及教室结构设计等方面进行详细的阐述。这种5G全息智慧教室应用场景广阔,不仅能够以裸眼3D 的效果展示全息三维模型,还可以将授课教师的全息三维影像投影到远程教室中,增强异地远程互动教学中远程听课学生的临场感和沉浸感,提高学生学习的积极性和主动性。

关键词:智慧教室;全息投影;5G;远程互动教学

中图分类号:G647.6

文献标识码:B

文章编号:1671-489X(2024)06-0001-06

作者简介:王超、李俊鹏、黄晓丹,工程师;赵玉宝,通信作者,高级工程师。

0 引言

近年来,以5G、人工智能、虚拟现实、区块链等为代表的新一代信息技术蓬勃发展,给各行各业带来了新的机遇和挑战。在数字化、智能化的浪潮中,技术变革教育的价值和作用日益凸显,教育作为前沿技术的重要实践领域备受瞩目[1]。党的二十大首次将"推进教育数字化"写入党代会报告。

教育部从2022年开始全面推动教育数字化战略行动。2021年,教育部等六部门发布《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》,对加快推进教育新基建,构建高质量教育支撑体系作出了总体部署,明确提出"依托感知交互、仿真实验等装备,打造生动直观形象的新课堂"[2]。教育部2018年印发的《教育信息化2.0行动计划》指出,要"构建智慧学习支持环境","加快面向5G网络的高校智能学习体系建设"[3]。

教室是开展课堂教学、实验教学等教学活动的主阵地,如何更好地推动教室智慧化和数字化建设,成为当前教育信息化领域的研究热点。

1 智慧教室发展现状及趋势

1.1 当前智慧教室的主要特征及存在的问题

智慧教室作为"互联网+教育"的最新产物,对构建智慧学习环境、推动课堂教学改革起到了重要的支撑和引领作用。目前,我国高校主流智慧教室主要依托云计算、大数据、物联网等技术,实现人机(或人人)交互、环境控制、课堂资源再现、远程教学、学情分析等功能[4]。这一类智慧教室中教学资源的呈现形式一般是平面化的,以PPT、视频资料、电子白板等为主。

随着虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality, AR)等技术日益成熟,国内一些高校开始探索将VR/AR技术融入智慧教室,打造基于云渲染的VR/AR智慧教室[5]。另有高校将VR技术与远程直播相结合,为学习者营造一种通过手机等智能终端进行沉浸式远程学习的虚拟环境[6]。学习者佩戴VR眼镜或VR头盔,借助3D素材进行立体化、沉浸式、交互式学习,增强了学习的趣味性和直观性。

不论是时下主流的智慧教室,还是新兴的VR/AR 智慧教室,在开展教学过程中都面临一些问题。在进行异地远程直播教学时,现场教师一般都能够通过监视大屏和拾音扩音系统与异地远程学习者进行问答互动,但时常面临画面卡顿、声音失真、交互性不强等问题;远程学习者通过屏幕观看教师授课,临场感不强,授课教师给现场学生展示的实物,远程学生无法获得真实体验,往往会导致远程直播教学呈现"现场教师在线播、远程学生隐身听"的状态[7]。另外,VR/AR智慧教室虽然实现了教学资源的立体化呈现,但是需要学习者佩戴特定设备,使用不便且长时间佩戴容易产生眩晕感。

5G和全息投影技术的出现与不断发展,为未来智慧教室建设打开了新的空间。全息技术兼具全沉浸性、全数据化、全互动性等特征[8],能够打破现实世界和虚拟世界的界限,在现有物理场景的基础上,营造出一种互动性的混合现实(Mixed Realty, MR)环境。人们开始探索基于全息技术将授课教师全息投影到远程教室,增强远程听课学生的临场感;同时将教学资源全息化,利用全息投影构建出能够以裸眼观看的3D虚拟影像,增强学习的立体感,从而使得智慧教室的远程直播教学效果真正具备"远程现场感,现场沉浸感"。

1.2 全息投影技术的基本概念及在教育中的应用现状

英国科学家丹尼斯·盖伯于1948年首次提出全息概念[9],随着光学和计算机等技术的不断发展进步,全息投影技术在军事、舞台设计、场馆展示等领域都有了广泛的应用。

全息投影技术是利用光的干涉和衍射原理来呈现物体三维影像的技术[10],它将物体发出的特定光波以干涉条纹的形式记录下来,存储在记录介质中,形成"全息干涉图"。当用再现光照射全息图时,重现出原始物光场,从而恢复出原物体逼真的三维图像,形成立体全息影像[11]。全息投影技术是一种可扩展、可重复使用和可传送的3D显示技术,且用户无需使用特殊的眼镜,就可以看到3D全息影像。

将全息投影技术应用于智慧教室建设,涉及3D全息图像采集、渲染、编码、传输、解码等多个环节,数据量大、实时性要求高,普通4G网络环境无法满足远程直播互动教学的低延时要求。相比于4G网络通信技术,5G技术具有超高速率、低延时、低功耗、大规模连接、高可靠性等特点[12],能够提供每秒千兆的峰值传输速率、每秒百兆以上的平均传输速率以及毫秒级的网络延时[13],其作为全息投影技术的底层网络支撑环境,将极大地提升教学体验。

当前,全息技术在教育领域中的应用还处于初步探索阶段[14],国内外对于全息投影技术在智慧教室建设中的应用研究比较少,研究成果也主要集中在全息教室对教育教学模式影响的理论分析方面,对5G全息互动智慧教室的基础设计模式、设计方案等方面的研究更是寥寥无几。在此背景下,本文从技术层面提出了一种支持异地远程互动授课的5G全息智慧教室(以下简称"5G全息智慧教室")设计方案。

2 5G 全息智慧教室设计方案

2.1 5G 全息智慧教室总体需求

结合山东大学教育教学工作需要,本文所提方案拟基于5G网络环境,建成3个异地校区共6间5G 全息智慧教室,除具备常规智慧教室的相关功能外,还能够支持一对一或一对多的全息远程教学。

授课教师可在任意教室授课,其立体三维影像能够实时传输到远程教室进行同步呈现,远程教室的学生无需佩戴任何设备即可看到具有裸眼3D效果的教师1∶1三维影像。能够支持全息课件播放,现场和远程教室均能呈现其三维影像。教师授课过程中播放的PPT课件、在线板书内容也能够作为全息影像元素进行显示。此外,多校区师生能够同时参与全息互动教学,音频信息和视频信息同步传输。

2.2 5G 全息智慧教室整体架构

三校区5G全息智慧教室整体部署架构如图1所示。每间教室都部署有全息图像采集系统和全息图像还原系统。各个校区的教室相互联通,并由总控中心统一控制。授课教室全息图像采集系统采集的图像,传输到一间或多间远程听课教室,由远程听课教室的全息图像还原系统进行还原呈现。同时,授课教室和远程听课教室的全息图像还原系统,也可以同时全息呈现教师播放的全息三维模型。

[图1:三校区5G全息智慧教室整体部署架构图]

本地教室与远程教室之间全息图像及音频信号交互流程如图2所示。在本地教室中,授课教师的全息影像经过采集和处理后,与音频信息一并经过信号编码系统压缩编码,然后通过5G网络传输系统发送至远端教室进行信号解码、媒体分配以及全息图像还原。同时,远程教室学生听课视频和音频分别经过超清摄像机和拾音器采集、压缩编码后,通过5G网络传输系统发送至本地教室进行信号解码和媒体分发。其中,远程学生听课视频画面通过授课教师前方的监视器进行实时显示,便于授课教师掌握远程教室学生听课情况。

[图2:本地教室与远程教室信号交互流程图]

2.3 核心软硬件子系统设计

本文设计的5G全息智慧教室的核心子系统主要包括:设备控制系统、全息图像采集系统、图像处理系统、5G网络传输系统、全息图像还原系统、全息三维引擎系统、全息云平台、物联感知系统及情境感知系统等。

2.3.1 设备控制系统

设备控制系统的主要作用是对教室内各类型设备进行集中控制和管理,完成对系统各个组件的开启、关闭操作。借助设备控制系统,授课教师可以方便快捷地进行系统一键启动和关闭,也能够进行各功能间的相互切换。

2.3.2 全息图像采集系统

全息图像采集系统采用一台或者多台高感光度摄像模组采集立体图像信息,对采集对象进行全维度影像扫描,实时合成立体模型。

2.3.3 图像处理系统

图像处理系统对采集到的动态图像进行渲染和全息特征预处理,通过改变颜色高光、锐化、对比度、阴影、边缘增强等处理,使得图像更具3D立体显示的视觉特征,构建全息虚拟影像的成像场。采集过程中动态跟踪对象轨迹并调整光线,保持双眼差的均衡值。此外,还要对图像进行编码压缩,在不改变图像显示质量的前提下,进一步减少数据量的传输,降低网络延时。

2.3.4 5G网络传输系统

5G全息智慧教室通过5G客户前置设备(Customer Premise Equipment,简称CPE)接入5G网络,利用5G通信技术实现本地教室与远程教室双向信号的实时交互传输,确保本地教室和远程教室在三维图像、音视频信号等方面交互的实时性、流畅性。

2.3.5 全息图像还原系统

全息图像还原系统将经采集处理后的授课教师全息图像,借助全息膜等高分子纳米光学材料,1∶1立体还原在远程教室的前方,远程听课学生无需借助任何穿戴设备便能实现裸眼立体的视觉效果,三维图像更加清晰、更加逼真。通过超高清视频捕捉技术,可以清晰地看到授课教师的面部表情和肢体动作。

2.3.6 全息三维引擎系统

全息三维引擎系统的主要功能是实现裸眼条件下的全息显示效果。授课教师在上课过程中,可以随时从全息三维引擎中调取全息教学资源,并与授课教师共同显示在本地教室中,同时,远程教室也能够同时显示该全息教学资源模型以及授课教师的三维影像。授课教师可以对全息教学资源模型进行常规交互操作,比如位移、旋转查看、放大缩小以及模型的分解与合成等。

2.3.7 全息云平台

全息云平台主要服务于教学资源的上传与下载,连接本地端和云端,可以有效减少本地服务器的存储空间占用,同时为云端数字课程与资源的存储、管理和对外分享提供便捷通道。

2.3.8 物联感知系统

物联感知系统的主要作用是实时感知教室内温湿度、空气质量、照度等物理环境状态,并根据预设参数对空调、新风系统、灯光等进行自适应调节,为师生开展教学活动提供友好、舒适的室内环境。

2.3.9 情境感知系统

5G 全息远程教室通过情境感知系统实现本地和远程教学全过程数据采集、存储和智能分析。教室内部摄像机能够对师生教学状态进行实时感知,智能分析本地和远程教室学生的出勤率、抬头率、师生的互动率等,为过程评价和教学质量持续改进提供数据参考。

2.4 图像采集端教室设计

图像采集端教室结构如图3所示。教室前端讲台区域即为教师授课区域,该区域部署特种黑板、投影机、投影幕布、灯光增强矩阵、双监视屏幕、图像采集摄像机等。全息图像采集系统能够实时捕捉授课区域内的教师动态影像图像并传输至远端教室。

教师在本地教室的板书、PPT投影画面也能够同步传输。

[图3:图像采集端教室结构示意图]

图像采集端教室基于传统教室改造,在传统教室基础上进行场景和灯光系统搭建。教师授课区域不配置绿幕背景,避免教室影棚化,减轻教师的"镜头压力"和学生听课的不适感。如图4所示,采集端教室整体格局和传统教室几乎无差别,只是增设了相关设备,因此,无论是开展传统教学还是全息远程教学,都可以在该教室中进行。

[图4:采集端教室外观示意图]

2.5 图像还原端教室设计

全息图像还原教室划分为两个区域:一侧是全息图像还原系统架设区域,用于呈现授课教师1∶1全息立体影像、全息课件模型;另一侧是学生听课区域。如图5所示,全息还原系统架设区域是一个立方体结构,会占据教室一部分空间,区域内为纯暗环境,以便减少外部环境光的干扰,最大化突出虚拟人像。此外,该区域还会嵌入5.1音箱系统、舞台灯光系统,控制系统等。

[图5:全息图像还原区域结构示意图]

学生通过此空间结构能够看到教师的全息影像,听到教师的立体声。全息教师的图像位置将1 ∶1站立于讲台中间,并横向沿中轴线位移。主教室黑板板书字迹也可以同步显示在虚拟场景内。

在使用全息三维引擎调用并呈现全息教学资源模型时,模型结构将呈现在教师前侧,形成多层立体图像,如图6所示。

[图6:全息教学资源模型立体呈现示意图]

此外,图像还原端教室利用监视摄像头和无线麦克风,将学生听课画面传输到图像采集端教室,并通过采集端教室的监视屏幕显示画面。

3 5G 全息智慧教室应用场景

作为一种虚实结合的新型智慧教室,5G全息智慧教室应用场景广阔,不论是开展日常教学活动,还是进行远程直播授课、录制课程资源,都可以依托5G全息智慧教室提升教学体验。

3.1 日常教学

如设计方案所述,5G全息智慧教室在传统教室基础上进行小规模改造,不影响其进行常规教学的功能,师生在无需全息投影支持时仅需保持设备关闭即可正常开展传统教学活动。授课教师也可以根据授课需要,提前上传全息课件,在需要展示3D 模型时一键开启5G全息设备并进行立体呈现。

如在讲解天体构造、宇宙演化,或呈现人体大脑结构,抑或是介绍复杂机械部件时,可将课前上传的相应模型通过全息三维引擎系统进行全息立体投影,学生就可以直观地看到三维模型的全息画面。

如此便打破了传统的平面化、单一化的多媒体教学方式[15],达到了优化教学过程、激发学生学习兴趣、提高教学效率的效果。

3.2 远程直播授课

5G 全息智慧教室能够支持异地多校区之间的远程直播互动教学,远程听课学生的临场感、通透感更强,有利于拉近远程听课学生和授课教师之间的距离。此外,在软硬件接口兼容的条件下,也能够实现跨校直播授课。在这种场景下,如果教育教学条件发达地区的教师能够以全息远程直播互动授课的方式与"老少边贫"地区共同上课,则能有力推动优质教育资源共享,促进教育公平。

3.3 全息课程资源录制录播

5G 全息智慧教室也可以作为一种新型的录播教室,不仅能够满足传统的视频录播需求,还能够进行全息课程录播。授课教师可以利用教室的全息图像采集系统进行全息课程资源录制,录制的课程资源保存在云端,授课教师可以随时下载。在教室全息图像还原系统和全息三维引擎的帮助下,可以将录制的全息课程资源进行播放和呈现,为学生提供一种异步学习方式。

4 5G 全息远程互动教室建设面临的挑战

目前,5G全息智慧教室的研究和探索仍处于初步阶段,在教育教学领域的进一步发展也面临着一些问题和挑战。首先,5G全息远程直播互动教室建设成本相对较高,影响了在高等教育和基础教育领域的推广和普及。其次,全息投影的立体图像质量是决定全息教室教学效果的重要因素之一[16],目前,全息技术已比较成熟,全息图像的质量也相对较高,但是在虚拟图像与现实物理环境的无缝融合方面还有待提升。再次,全息课件模型资源相对较少,全息课件的制作技术又比较复杂,这就在信息技术素养方面对授课教师提出了更高的要求。最后,虽然当代学生作为数字时代"原住民"对虚实结合的数字化学习环境适应力较强,但是大部分教师作为数字时代的"移民"对新技术应用于教育教学还存在着"敬而远之"的心理,这也在一定程度上阻碍着5G全息智慧教室的进一步推广与应用。

针对上述问题和挑战,需要坚持以教学需求为导向,以提高教师教学水平和学生学习能力为出发点[17],深入思考如何将光电信息领域的最新技术应用到5G全息智慧教室建设中,持续提升全息图像呈现效果,优化用户体验,降低应用成本。同时,还需要进一步加强学校教育技术部门建设,做好全息教室使用培训和教师支持服务工作。在5G全息智慧教室建设中,需要结合学校教育资源、教学资源、教学技术、教学模式、教学效果、教学效果评估、教学效果优化等 five 个方面进行综合设计,以期在5G全息智慧教室建设中,提高教学质量,提高教学效率,提高教学效果,提高教学效果评估,提高教学效果优化,提高教学效果评估,提高教学效果优化,提高教学效果评估,提高教学效果优化,提高教学效果评估,提高教学效果优化,提高教学效果评估,提高教学效果优化,提高教学效果

5 结束语

虚拟空间和物理空间深度融合是智慧教室创新发展的重要方向。本文基于学校建设5G全息智慧教室的具体实践,提出了一种可行的设计方案,从技术和应用场景等方面进行了分析和探索。随着算力、存储和网络通信等技术的不断进步,相信全息教室将在推动课堂革命,支撑"以学为中心"的教育教学改革,助力加快推进教育数字化,实现教育事业高质量发展等方面发挥更加重要的作用。

业务联系:

biduseo@gmail.com