1前言

基于 LED 背 景 墙 的 电 影 虚 拟 化 制 作 ( 下 称 “LED虚拟化制作”)  是指 :  利用高显示性能 、小 点距 的 LED 显示屏作为背景墙 ,  通过实 时渲染引 擎 ,  采用多屏同步的实时渲染方法 ,  利用摄影机内 外参跟踪同步系统 ,  将高画面质量的三维场景渲染 到 LED背景墙上 ,  并通过实时渲染引擎调整 ,  同步 现场的灯光 、场景机械装置等拍摄用具 ,  由摄影机 直接拍摄 ,  将真实的演员表演 、道具陈设与 LED背 景墙实时合成 ,  从而达到 “所见即所得”的新型电 影制作方法。

与传统电影制作方法不同 ,  电影虚拟化制作是将传统视效影片中的三维资产制作等环节移至影片 实际拍摄之前 ,  将渲染 、合成环节在拍摄现场实时 完成 ,  给电影制作流程带来了革命性改变。而相较 于实时交互预演中前期制作内容仅供现场预览参考 的情况 ,  LED虚拟化制作中 ,  前期制作的内容则是直接 用 于 最 终 合 成 画 面 ,  即 “摄 影 机 内视 效 拍 摄”[1] 。

2研发测试总结

北京电影学院影视技术系针对 LED虚拟化制作 技术展开了详细的研究测试工作 ,  联合青年电影制 片厂完成搭建并开发了一套完整的基于 LED背景墙 的电影虚拟化制作系统。其中包括 :  多款 LED屏的搭建施工方案和 LED屏幕显示分发控制器、视频信 号处理器的各项参数滚动测试;摄影机内外参跟踪 同步系统的测试与研发;基于实时渲染引擎的 “摄 影机内视效”虚拟化制作系统的研发;依托实时渲 染引擎的交互灯光控制与数字灯光矩阵研发;多机 同步渲染方案的对比测试;系统色彩管理方案研究;不同虚拟场景的镜头拍摄实践测试等[2] 。分 阶段完 成了共四轮研发测试工作。

2.1LED背景墙的硬件搭建

在长达一年多的测试过程中 ,  课题组分别针对 拍摄用背景墙 、侧面照明用背景墙 、顶部照明用背 景墙进行了多批屏幕的滚动测试 ,  并对弧形屏和多 面背景墙之间的衔接进行了测试。

其中对于拍摄用背景墙 ,  课题组分别测试了雷 迪奥视觉 (ROE)  的 BP2、DM2两款 型号 的 LED 屏 ,  其点 间距分别 为 2.8mm、2.6mm。对 比 测试 得出 ,  在点间距相近的情况下 ,  面板吸光度 、屏幕 亮度色域 等显示 指标是 相 对 重要 的参 考 指 标。 如 BP2屏体组成 的 背景墙 ,  显示 的 动 态 范 围较 DM2 有明显提升 ,  摄影机内视效拍摄时前后景的动态范 围更加 匹配。针对 照 明用 背景墙 ,  则测试 了 ROE 的 CB5、CB8两款型号 ,  作为环境照明使用的背景 墙 ,  点间距不再是重要参数 ,  面板亮度和显色能力 则更为重要。经过不同屏体的性能测试和交叉对比 ,  摄影机内视效拍摄对点间距的要求与拍摄距离强相 关 ,  拍摄距离越远 ,  点间距就可以越大。但是 LED 屏的点间距越小 ,  其生产制造难度越大 ,  能达到的 亮度 、色彩等显示性能也越差。 因此不应盲目追求 更小的点间距 ,  而应根据拍摄环境综合考虑 ,  选取 适合的 LED显示屏搭建背景墙[3] 。

在大面积的 LED虚拟化制作摄影棚中 ,  针对组成拍摄环境的多面背景墙之间的衔接问题研究 ,  课 题组分别测试 了多块 5°至 10°固定件组接 的连续弧 面 、27.5°定制固定件组接的夹角 、无固定件有接缝 夹角。经跨屏拍摄测试 ,  当使用面板吸光能力达到 一定程度 ,  且夹角大于 90°时 ,  LED 背景墙之 间 的 相互光照影响较小 ,  只要内视锥映射关系正确 ,  摄 影机内视效拍摄时不会出现太明显的夹缝现象。但 当没有固定件固定产生屏幕接缝或内视锥渲染位置 有偏移时 ,  背景墙之间的接缝非常明显 ,  不能满足 拍摄需求。

2.2LED背景墙的视频同步与多机渲染同步

多面 LED背景墙之间可以利用时间码同步。课 题组的研究工作中 ,  使用邦腾科技的视频处理器和 分发器直接处理来自渲染节点的视频信号 ,  视频处 理器可以接收时间码发生信号来完成背景墙之间的 同步 ,  并且可以与摄影机的时间码完成拍摄时同步 , 以避免滚动快门摄影机拍摄时的画面撕裂问题。

在测试中发现 ,  相比 LED背景墙和摄影机的同步 ,  对拍摄影响更大的是多机渲染的同步。在课题 组通过 nDisplay系统完成的多屏映射渲染中 ,  默认 状态即可通过网络信号同步 ,  但这一 同步方式精度 低 ,  仅 能 满 足 静 态 场 景 下 基 本 的 跨 屏 拍 摄 需 求。 nDisplay系统还可 以借助 Quadro 显示计算处理单 元和 同 步 单 元 的 同 步 功 能 ,  接 收 外 部 同 步 锁 相 (Genlock)  信号达到精准 同步 以实现更苛刻 的摄影 机内视效拍摄。

2.3数字灯光与数字灯光矩阵

LED背景墙提供基础光照的情况下 ,  仍需要利 用灯光设备补充光照 ,  以弥补背景墙照明窄光谱低 显色 、无方向性 、无硬光的问题。

课题组利用南光的 Dyno650C、Dyno1200C等 LED照明灯具 ,  通过 DMX 或 Art-Net数字灯光控 制协议 ,  可以将数字灯光和虚拟场景联动 ;  通过实 时渲染引擎直接控制灯光 ,  可以高效率地完成照明 环境的搭建。

此外 ,  借助 于诺华视创 的六基 色 LED 灯光矩阵 ,  测试了宽光谱的灯光矩阵和大面积柔光布作为 顶面照明的方案 ,  有效补充了照明。但该方案对具有反射 、透射材质的道具照明效果欠佳 ,  还需进一 步完善。

2.4摄影机跟踪设备

作为摄影机内视效拍摄的核心技术之一 ,  摄影  机跟踪主要有由外而 内 (Outside-In)  的光学动捕、 由内而外 (Inside-Out)  的主动视觉定位等方案。

由外 而 内 ( Outside-In)   的 光 学 动 捕 方 案 中 , 课题组主要测试了 HTC Vive、Optitrack两种跟踪 解决方案。在 HTC Vive方案中 ,  课题组架设了四 个扫射红外激光的定位基站 ,  由摄影机上的跟踪器 接收激光来实时计算摄影机位置。这一跟踪方案不 受环境干扰 ,  成本低 、架设难度小 、操作容易 ,  但 由于本身定位是游戏设备 ,  标定等环节专业的可操 作方式少 ,  二次开发难度大 ,  因此较适合可移动的 低成本制作需求。而在 Optitrack方案 中 ,  课题组在10.5 米 × 11 米 的 拍 摄 空 间 中 ,  吊 装 了 12 台 Prime22X相机 ,  通过在摄影机上安装 自己定制 的 红外发光点固定支架来跟踪摄影机。这一方案精度 极高 ,  不易受环境干扰 ,  而且可以通过控制端软件 Motive便捷地完成标定 、位置信息广播等工作 ,  具 有较强的专业操作性 ,  只是经济和施工成本都较高 , 适合用于相对固定的摄影棚。

由内而外 (Inside-Out)   的 主 动视 觉定位方 案 则主要测试 了 NCAM 、LightCraft和 RedSpy三款 设备。NCAM 通过安装在摄影机结构上的两个鱼眼 相机拍摄现场环境 ,  实 时解算 自己位置完成跟踪 ,  避开 LED背景墙显示画面 ,  主要采集前景铺设的美 术置景画面。这种方案受到环境干扰也较小 ,  但大范围移动会导致跟踪点减少 、 积 累 误 差 等 情 况。 LightCraft和 RedSpy均是通过专有的跟踪目标布设 作为跟踪点 ,  前者需要在拍摄环境中铺设专用的定 位图案 ,  后者则是在摄影机上方或下方随机撒反射 材质跟踪 点 ,  但 这 两种 跟 踪 点 方 案 都会 影 响 顶 面 LED背景墙 、前景美术置景的工作。

2.5焦点焦距同步

摄影机内参同步是虚拟摄影机和真实摄影机同 步的另一关键环节 ,  其中焦点 、焦距的实时同步尤 为重要 :  虚拟摄影机的焦距影响内视锥的画面大小 ,从而影响内视锥是否能完全覆盖真实摄影机 画 面 ; 焦点则会影响内视锥的画面景深 ,  从而影响拍摄画 面的景深匹配。

课题 组 研 发 了 一 套 基 于 OSC  ( Open Sound Control)  控制协议的焦点焦距同步设备[4]  ,  通过旋 转编码器实时获取镜头焦点环 、焦距环的位置信息 ,  并利用镜头标定数据映射当前摄影机的焦点 、焦距 值 ,  通过 OSC协议实时传输至引擎完成同步。但是 由于 LED背景墙上显示带有景深的内视锥画面 ,  会 被真实摄影机的光学镜头再次虚化 ,  仍会导致景深 不匹配的问题 ,  这一 问题需要通过改进渲染的景深 映射计算方法来解决。 因此目前通过 OSC协议公开 了偏移量调整接 口 ,  并设计 了相应交互控制界 面 ,  由摄影部门主观调整内视锥景深关系来缓解这一 问 题。

3 制作流程中存在的优势与局限性

图 2   LED虚拟化制作流程示意图

电影虚拟化制作中最重要的特征是 “后期前置  化”,  即现场拍摄之前 ,  就需要完成大量的数字资产  和虚拟场景制作任务 ,  因此将整个流程大致分为前  期筹备 、前期制作 、现场制作 、后期制作四个部分。 在 LED虚拟化制作中 ,  前期制作的虚拟内容直接用  于现场制作的摄影机内视效拍摄 ,  得到合成后的画  面 ,  大大减少了后期制作的视效工作量 ,  提高了制  作效率 ,  但同时也存在一些亟待解决的问题。前期  筹备的环节与传统制作流程相似 ,  下 面则从前期、 现场 、后期三个制作环节出发 ,  分析 LED虚拟化制  作的优势和局限性[5] 。

3.1前期制作的优势与局限性

将传统后期制作阶段的数字资产制作环节前置 , 数字资产的制作可以更加贴近美术概念设计和影片 画面内容的构思 ,  不受到现场拍摄内容的限制。

在传统制作流程中 ,  常常会因为现场拍摄的环 境等限制 ,  拍摄内容一定程度上偏离了创作者的最 初意图 ,  为了匹配现场拍摄的画面 ,  后期制作数字 资产时也会与创作者想法产生偏差。在基于 LED背 景墙的电影虚拟化制作中 ,  数字资产是组成拍摄环 境的重要部分 ,  因此在数字资产制作环节 ,  创作者 可以拥有更大的表达空间 ,  也可以通过动态预演的 方式更加直观地看到预期结果并进一步迭代调整创 作。

但同时 ,  实时渲染的特点也为前期制作数字资 产带来了一些挑战。实时渲染的画面直接作为成片 背景使用 ,  对背景墙显示内容观感要求接近于离线 渲染 ,  需要极高的画面质量与精度 ,  而实时渲染本 身建立在降低计算精度的基础上 ,  这对数字资产的 “性能”也提出了更高的要求。如需要在满足渲染画面精度要求的情况下对不同的资产做层次细节 (LOD)   处 理 ,  对 材 质 做 贴 图 烘 焙 、 纹 理 映 射 (Mipmap) ,  对静态光照预烘焙等。这要求制作人员 在关注美术观感与精细程度的基础上 ,  还要更进一 步地了解实时渲染的处理管线和优化方法。

3.2现场制作的优势与局限性

现场制作中 ,  各部门创作者都能从 LED虚拟化 制作中受益。

对导演和美术而言 ,  虚拟场景不再是一个固定 的陈设 ,  移动一张桌子 、一棵树 、甚至一栋楼都只 需要简单拖动物体坐标轴。在正式拍摄之前 ,  根据 摄影机取景内容 ,  再进一步调整场景 ,  这带来了极 大的创作自由。导演还可以利用虚拟现实勘景设备 沉浸式地进入虚拟场景 ,  观察场景细节 ,  选取表演 区域 ,  拍摄位置角度 ,  从而提高创作效率。

灯光 、机械组也可以通过这种方式 ,  根据 LED 背景墙显示效果和现场环境 ,  调整现场灯光 、机械 的位置或参数 ,  使得现场照明 、器械运动 、特殊效 果与虚拟场景相匹配 ,  带来更加沉浸式的拍摄制作体验。借助 LED背景墙上的环境照明和数字灯光照  明 ,  可以直接为现场道具提供丰富的环境光照 ,  甚  至为具有反射 、透射材质 的道具提供正确 的反射、 透射图像。还可以通过实时渲染引擎设计动态光照、 互动光照 ,  为前景带来更加丰富 、更加逼真的照明  效果。

摄影部门则可以真正实现 “所见即所得”。摄影 机的内外参数均能够实时反馈到实时渲染引擎 ,  使 得内视锥的背景画面以正确的透视关系显示在背景 墙上 ,  与前景运动相匹配 ,  因此摄影机可以直接拍 摄到前后景合成后的画面 ,  即所谓的 “摄影机内视 效拍摄”。如此 ,  摄影师就可以通过取景器内的画面 效果来选取构图 、光照关系 ,  甚至 自由选择摄影机 内视效拍摄或是内视锥绿幕拍摄 ,  得到符合创作意 图的画面。

而对在 LED背景墙环境中的演员而言 ,  表演时 不再需要对着绿幕凭空想象 ,  而是直接面对背景墙 上的虚拟画面表演。场景中的参考物 、环境变化都 可以直观地在 LED背景墙上呈现 ,  演员可以直接看 到不存在于真实场景中的太阳 、飞船 、爆炸 、外星 人等 ,  通过 “身临其境”的真实体验 ,  使表演更加 真实自然。

但与此同时 ,  LED背景墙的拍摄环境也带来了 一些问题。其局限性在于拍摄环境 、照明环境 、背 景真实感 、虚实匹配等多个方面。

一是 LED屏要求拍摄距离距屏体 3米以上 (对 点间距 2~3mm 的 LED屏) ,  且焦点不能在屏上 , 否则会出现摩尔纹 ,  因此对拍摄区域带来了一定限 制 ;  二是当摄影机运动过快时 ,  也会因为系统延迟 产生内视锥位置未覆盖摄影机 、 内视锥视角有所偏 差的情况 ;  同 时 由于 LED屏体 的特点 ,  LED 背景 墙围绕的环境中的温度相对较高 ,  且拍摄期间不能 使用大功率噪声电器 ,  演员的表演环境相对受限。

LED窄光谱等特征则会带来现场光照环境的问题 ,  窄光谱照明内容在摄影机中的颜色可能与 LED 背景墙上的显示效果不一致 ,  尤其是在人体皮肤上 呈现 的 光 照 效 果 不 自然 等 问 题 较 为 显 著。 此 外 , LED背景墙仅能作为基础环境光照 ,  光源不具备方向性 ,  无法满足硬光等光线塑造手段 的创作需求。 因此 LED虚拟化制作现场会大量利用数字灯光或数  字灯 光 阵 列 补 充 照 明 ,  但 这 也 会 产 生 数 字 灯 光、 LED背景墙 、摄影机画面之间的色彩管理与匹配问  题。

由于背景需要实时渲染并映射投影到 LED背景  墙上 ,  背景画面的真实感距离传统视效制作中的离  线渲染画面还存在一定差距。 常见的实时渲染引擎  提供了大量针对渲染效率的优化方法 ,  但同时也牺  牲了画面内容的真实感 ,  如渲染优化导致的远景存  在闪烁 ,  材质渲染精度不足导致 的 画 面游戏感重、 动画播放不够流畅 、特效模拟缺乏细节等问题。

最后一点则是 LED背景墙作为背景可能存在显 示效果与前景不 匹配 、景深 与前景不 匹配等 问题。 由于 LED屏的显示性能和面板吸光能力上仍存在不 足 ,  LED背景墙上显示的背景画面往往很难达到前 景真实场景的效果 ,  如动态范围不足 、色彩过渡不 平滑等问题都很难 与前景完全 匹配。尤其是后者 ,  实时渲染引擎对景深的模拟是基于对焦距离的 ,  没 有对 LED屏体的物理空间关系进行映射 ,  前后景经 过真实镜头拍摄后 ,  以镜头主节点距前景物和真实 屏体的距离形成景深效果 ,  而背景墙上显示的内容 又仅能以镜头到虚拟场景 中被摄物 的距离来计算 ,  因此真实成像 的背景 画面是两次景深效果 的叠加 ,  而真实的景深效果并不能通过这种简单叠加来抵消。 目前实时渲染引擎也无法通过简单的偏移量来消除 这种叠加效果 ,  且由于对焦到屏体上又会带来摩尔 纹的问题 ,  不能通过真实摄影机选取大景深来消除 影响 ,  因此出现了前后景景深难以匹配的问题。在 纵深明显 的制作 内容 中 ,  就会 产 生 背 景 看起来像 “贴片”的虚假感。

3.3后期制作的优势与局限性

基于 LED背景墙的虚拟化制作方式的确大大减 轻了后期制作的压力。后期制作阶段 ,  视效部门获 得摄影机内视效拍摄画面 ,  不再需要传统视效制作 中耗费时力的抠像 、光照匹配等环节 ,  仅需要对部 分镜头进行前景视效内容的合成 ;  对内视锥绿幕方 式拍摄的镜头 ,  也可以得到非常纯净均匀的绿色背景 ,  同时外视锥 的虚拟场景还保 障 了光照 的 匹配 , 因此抠像工作相对简单 ,  无需处理复杂的溢色等问 题。色彩 、光照匹配和景深匹配上存在的 问题 ,   目 前来说尚无较完善的解决方案 ,  需要通过多种特殊 的后期来减缓观感上的不适 ,  如风格化的调色 、适 度的画面模糊等处理。

4未来发展方向

基于 LED背景墙的电影虚拟化制作作为新兴的 制作技术 ,  尚存在诸多限制与不足 ,  未来发展的方 向需要从软硬件系统多方面进行探索研究[6] 。

4.1LED显示技术的发展

LED显示技术作为推动虚拟化制作发展的重要 因素 ,  也是支撑内容质量的关键要素 ,  进一步研发 主要需从显示效果和照明效果两方面出发。

显示效果反映了摄影机直接拍摄到的背景画面 的质量 ,  其发展方向主要是显示能力的提升 ,  如高 分辨率 、高帧率 、高动态范围 、广色域。高分辨率 要求 LED点间距进一步减少 ,  开口率进一步提升 , 从而可以减缓拍摄画面中摩尔纹的出现 ;  高帧率则 要求屏幕刷新速度的提升 ;  高动态范围要求 LED显 示亮度足够高 、黑位足够低 ,  因此灯珠的亮度 、面 板的吸光能力都要进一步提高 ;  而广色域则对不同 颜色灯珠的荧光粉技术提出更高要求。 同时 ,  为了 达到较高的显示性能 ,  也需要具备处理高技术格式 图像的视频处理器 、LED显示分发器及高速输入输 出设备来支持。

另外 ,  LED 背 景墙还需要 提 供 现 场 的 光 照 环境 ,  因此可以向高照度 、宽光谱等现代灯光研发方 向发展 ,  例如使用多基色发光等技术 ,  尤其是不作 为拍摄内容的照明用背景墙 ,  甚至可以适当牺牲点 距来提升照明效果。除此 ,  LED视频处理分发设备 也应具备更加高效 、易用的局部调光功能来帮助现 场光照环境的搭建。

4.2 实时渲染引擎与计算载体的发展

目前在影视制作中使用的实时渲染引擎多为游 戏引擎 ,  尚不能很好地满足影视制作 的不 同需求。 在继续提升渲染算法效率 、真实感渲染效果的同时 ,可以适当提供多机并行高质量渲染 、景深映射计算、 针对单个资产 的色彩调整等面 向影视制作 的功能。 可以在这些方面继续开发 ,  甚至形成专门针对影视  制作的版本 ,  以期更进一步提高制作效率。对于承担渲染计算的服务器或计算中心 ,  则需 要更加强劲的图形计算处理能力和更加方便的并行 同步计算搭建方法 ,  来处理影视级可用的实时渲染 任务。

4.3摄影机内外参跟踪同步系统的发展

对于摄 影 机 的 外 参 同 步 即 摄 影 机 跟 踪 系 统 , LED虚拟化制作在要求更高的精度 、更低的成本的 同时 ,  还要求 :  更低的传输计算延迟 ,  不受复杂光 环境变化影响的稳定性 ,  现场搭建不影响背景墙等 其他设施架设的采集硬件 ,  更加易用于后期的跟踪 数据记录方式等。

内参同步则主要通过镜头编码器和镜头校正系 统来实现 ,  由于实时渲染引擎对摄影机内参的模拟 没有偏移映射处理 ,  当前摄影机内参在前后景并不 能很好地匹配 ,  尤其是景深等效果。故而摄影机内 参同步系统需要提供更加易用的交互调整功能 ,  让 摄影师能够手动调整背景画面来尽可能地完成匹配。 该部分功能另一种可能的解决方式是通过实时渲染 引擎来完成。

4.4数控灯光、机械、道具的发展

为了进一步减少现场制作人员的重复性体力工作 ,  提高影片拍摄制作效率 ,  与引擎联动的数控灯 光 、数控道具 、数控拍摄辅助设备也是虚拟化制作 的重要发展方向。如此 ,  现场的数控灯光 、数控道 具 、数控拍摄辅助设备均可以通过不同的通信协议 被引擎直接驱动 ,  并根据虚拟场景情况做出相关的 响应 ,  更好地完成虚拟场景与真实环境的匹配 ,  如 灯光的位姿 、照明效果控制 、运动控制系统等机械 系统的同步 ,  拍摄道具的效果触发等。

4.5信号传输与现场制作的发展

由于虚拟化制作的协同工作需求更加迫切 ,  因 此需要更加高效的信号传输与现场制作系统 ,  如引 入基于 IP的架构等新兴信号制作方式 ,  能够根据现 场的需要传输更多数据 ,  并以更加方便的方式传输到各个部门。此外也能够为后期制作记录更多数据 , 为制作提供更多的帮助。

5总结

基于 LED背景墙的电影虚拟化制作是当下最前

沿的影视制作新技术 ,  也是影视制作流程的一次革 命性的探索。该技术在影视拍摄中已经进行了初步 的应用 ,  但仍然存在一些不足 ,  也有诸多需要进一 步完善和改进的空间。相信在从业者的共同努力下 , 它能给创作者提供更加 自由 、直观的创作环境 ,  推 动影视技术发展 ,  带动影视产业升级 ,  助力中国电 影工业体系建设再上新台阶。