人像重照明数据采集设备调研
2021-11-12
| 2023-11-11
0  |  阅读时长 0 分钟
type
status
date
slug
summary
tags
category
icon
password

1. 背景

  • 将人物从一张照片或视频中扣出, 并放入其他光照环境下的照片或视频中时会产生违和感, 那是因为背景中的光和照在人物身上的光的方向和亮度等信息并不相同. 为了使照在人物身上的光与背景光源的信息保持一致, 需要使用人像重照明 (portrait relighting) 技术. 而进行人像重照明任务的深度学习模型需要在不同光照环境下的人像照片数据, 所以需要搭建数据采集设备.
      • notion image

2. 数据采集设备的常用组件

  • 这里整合了从2000年到2021年间人像重照明数据采集设备论文中提到的常用组件.

2.1. 框体

  • 由于人像重照明任务训练所需的数据为不同角度的光线照射到人像时的照片, 可能需要光线的方向的数据 (特别是每次拍摄只有一个光源的情况 (One-light-at-a-time(OLAT) data), 所以在拍摄的时候固定光源是更好的选择. 固定光源另一个好处在于可以在极短时间完成同一个人像的所有光线角度的拍摄, 甚至可以通过高速摄像机来进行实时录像, 而像Light Stage 1[1]和Light Stage 2[2]这类需要旋转的光源就无法做到.
  • 构成框体的材料多为金属材料(铝合金), 但也存在木材. 木材的好处在于方便切割, 轻便, 但是易燃, LED发热量大可能引起火灾, 并且木材强度不一定足够.

2.1.1. 移动光源的框体

Debevec, Paul, et al. [1] 使用两根管子来规定光源的移动轨迹, 外部的管子使光源水平移动, 内部的管子使光源竖直移动. 光源固定在内部的管子中央, 从而使光源始终对准人脸, 并围绕着人脸运动.
notion image
  • 优点: 造价低.
  • 缺点:
    • 拍摄时间长, 完整旋转光源拍摄一个人像需要数分钟, 在此期间人和表情不能变动.
    • 光源只有一个.
Hawkins, et al. [2] 使用一个可以水平转动的半圆结构转动360度的过程中设定64个方向进行拍摄，结构内壁排列27个光源, 通过转动这个半圆结构来移动光源.
notion image
  • 优点: 光源增加到了27个.
  • 缺点:
    • 拍摄一个人像耗时10秒, 速度依旧不够快.
    • 造价更高.

2.1.2. 固定光源的框体

细分正二十面体: Debevec, Paul, et al. [3] 从2002年的Light Stage 3开始使用固定光源进行拍摄. 框体为一个细分的正二十面体 (Subdivided icosahedron / Pentakis icosidodecahedron), 共有42个顶点, 80个面和120条棱, 直径为2米.
  • 在每个顶点和每条棱的中点上固定光源, 共162个. 为实验对象进出, 拆掉底部5条棱和一个顶点, 因此实际156个光源.
  • 底部被垫起80cm，使得装置的赤道与人脸的高度相同.
      • notion image
  • 类球体框架加上大量光源的优点在于, 可以制造不同强弱的亮度. 并且在光源足够多的时候, 可以使光线模拟连续的反光. 这就可以用来模拟周围环境反射光照到人身上的情景, 从而使不同场景的光照模拟更加真实. Light Stage 6 [5] 使用了更多的光源, 使这个特点更明显.
      • notion image
      notion image
      notion image
  • 同样是细分正二十面体作为框体的还有Light Stage 5 [4] , Light Stage 6[5], ESPER公司Light Stage, Kampouris, et al. [7], Liang, Bin, et al.[9] 和 Pandey, Rohit, et al. [10]. 直径从2.5米到8米不等. 光源还是设置在多边形的棱和顶点上.
弧形框架: Wang, Zhibo, et al. [8] 和 便携式Light Stage X [11]使用弧形框架, 在人面前固定120度环绕的光源.
notion image
  • Pandey, Rohit, et al. [10] 表示同样使用bidirectional reflectance distribution function (BRDF)的情况下, Wang, Zhibo, et al. [8] 所产生的重照明结果不如他们的结果真实. (原因可能在于照明拍摄设备或框体的差别)
  • 缺点: 120度环绕的框体无法完全包裹被拍摄对象, 所以在模拟光照的时候比起类球形框体存在劣势.
  • 优点: 便携式Light Stage X [11]搬动较为方便, 占用的空间更小.
      • notion image
  • 另外, 便携式Light Stage X [11] 主要用于人物肖像3D建模. 通过不同角度的光照在人像的照片来使3D建模的结果更好.

2.2. 灯光

  • LED灯的使用为主流, 购买更方便价格便宜, 体积很小. 相对的氙气频闪灯无法找到购买途径. 另外, 氙气灯的色温不可调节, 不适合做重照明的光源.
LED反应灵敏, 通直流电时频闪的幅度也比一般的其他光源低很多.[12]
notion image

2.2.1 白色光源

  • Light Stage 5 [4] 的每个光源都由3个Luxeon V白色LEDs组成, 色温4000K-6500K, 光通量360lm(流明), 产生 420 lux(照度).
    • 作用: 用白色光源配合通过时间复用照明和高速摄像机来拍摄动态人物.
  • Wang, Zhibo, et al. 2020 [8], 27 white area lights型号未知.
  • Kampouris, et al. 2018 [7] 使用 iW MR gen3 lamps for white illumination: 色温2700K – 5700K
    • 作用: 结合RGB和白光LED可以用来控制入射光的光谱.
        • notion image

2.2.2 RGB光源

Kampouris, et al. 2018 [7] 和 Light Stage 3 [3] 使用 Color Kinetics 的 iColor MR 光源，细分的正二十面体的顶点安装RGB灯, 含18个红绿蓝LED灯珠; 边安装红外线灯(2.2.3描述)
notion image
Light Stage 6 [5] 使用的是LumiLEDs Luxeon V LEDs灯组. Lumileds Luxeon V 4000K CRI70 LED 的色温 3780-4000, 光通量106-2019 €2.50=18元/颗
notion image
Liang, Bin, et al. 2020 [9] 使用深圳红方光电HF-D507W LED灯, 淘宝没有售卖, 但是有类似的替代品, 功率1.5w 单买红绿蓝白每个颜色的灯珠3.5元. 色温范围1200K-6000K
 
Pandey, Rohit, et al. [10] 使用环形LED加中间的小LED灯组, 品牌型号不明.
notion image
  • RGB LED的优点: 能更好的模拟周围环境反射光照到人身上的情景.

2.2.3 红外线灯

  • Light Stage 3 [3] 在细分的正二十面体边的中间安装了红外线灯用来照背景, 红外线对人眼和color camera(因为加了可以透过红外线的滤光器(Hoya IR-pass filter))不可见, 可是单色相机(Uniq Vision UP-610 monochrome camera)可以感知. 之后就可以把背景扣掉留下人像.
      • notion image

2.2.4 偏振片

  • 作用: 通过水平偏振片和垂直偏振片对拍摄到的物体进行抠图. [13]
  • Light Stage 1 [1] 将垂直偏振片放在光源前, 将水平偏振片放在相机前, 用来区分不同角度的光照的反射分量.
  • Light Stage 3 [3] 选择用红外线照亮背景之后过滤而不是使用偏振片.
  • ESPER [6] 和 Liang, Bin, et al. 2020 [9] 在灯前安装偏振片, 都是1组光源中有3个LED灯, 其中1个安装水平偏振片, 1个安装垂直偏振片, 最后一个不加偏振片. 如果1组灯里只有2个LED, 则一个装水平偏振片, 一个装垂直偏振片. 再在相机镜头前装上垂直偏振片.
  • 使用了偏振片可以代替红外线灯加单色相机的组合, 降低成本.
  • Pandey, Rohit, et al. [10]用了加强型的alpha mattes, 所以没有使用偏振片.

2.3 相机

  • 拍摄设备的选用方案分两种, 一种是使用40个左右单反摄像机或60个左右RGB相机, 另一种则是使用一个高速摄像机和一个单色相机.
  • 根据需要的数据不同, 可以二选一.
    • 选用多个单反相机用以在极短时间内各个角度不同光源拍摄人像, 全部收集完之后再集中处理.
    • 选用高速相机则是用来在一个固定视角实时捕捉人物的动作. 而单色相机则是用来配合红外线方便实时抠图.

3. 预计需要的设备

  • 成熟的产品:
    • 直径2.5米, 光源数量可以定制.
    • ESPER公司Light Stage 在欧洲, 询问价格目前没有回应.
        • notion image
  • 框体: 细分的正二十面体. 共有42个顶点, 80个面和120条棱.
    • 12个五边形接口, 10个六边形接口. (可能需要定制)
    • 直径3米: 边长约为0.82米.
      • 使用木条2cmx2cm 120x7.6 → 912元
      • 不锈钢条15x15mm 0.7mm厚 120cm长 120 → 950元
    • 直径2.5米: 边长约为0.683米.
      • 2.5米的直径用来采集头部到全身.
    • 直径2米: 边长约为0.5465米. (目前空间限制可能2米比较合适)
      • 多用来采集头部到半身像, 要进行全身肖像采集可能需要坐着.
  • 灯光:
    • 光源的光通量尽可能的大, 否则亮度可能无法模拟真实光照. (不过可以在照相机中调整参数来改善)
    • Kampouris, et al. 2018 [7] 的方案较便宜, 分别使用白灯和RGB灯的组合来调整色温, 这种7个灯珠的LED灯组可以在淘宝定制, 预计936 (3x156x2) 元. 直径4cm. 但是不能控制每个灯珠. 光通量未知, 功率1.5w.
        • notion image
    • Light Stage 6 [5] 使用的 LumiLEDs Luxeon V LEDs 灯组光通量最大可以达到2000LM, 但是需要自己开发, 6边形结构, RGB LED各7个, 白色LED 21个. (2m大小的框体可能用不到这个)
      • LumiLEDs Luxeon 15w的每个灯珠淘宝上功率15w的15元左右, 有蓝色和白色.
      • (替代) CREE XML2 RGBW色都有, 光通量 480-1000LM. 15元左右一个灯珠. 42x156x15=98280元
        • notion image
    • Pandey, Rohit, et al. [10] 方案, 红色灯珠8个, WGB各6个, 型号不明, 用CREE XML2灯珠的话 26x156x15=60840元 (2米的框体的话可以减少灯珠的数量和灯组的大小)
        • notion image
        notion image
    • 偏振片 15cmx15cm 156 / 3 * 29 = 1508元
      • 如果matting能够直接抠图的话, 可以不使用偏振片.
  • 相机
    • 只拍摄人像的话, 目前看到类球状框体最少需要40个单反相机(直径都在2.5米以上). 直径2米的框体可能需要的相机更少.
    • 使用高速摄像机的话, 并没有找到卖一手Sony DXC-9000 和 单色相机 Uniq Vision UP-610的店. 卖Machine vision camera的店如Phantom Cameras有销售高速相机.

Reference

[1] Debevec, Paul, et al. "Acquiring the reflectance field of a human face." Proceedings of the 27th annual conference on Computer graphics and interactive techniques. 2000.
[2] Hawkins, Tim, Jonathan Cohen, and Paul Debevec. "A photometric approach to digitizing cultural artifacts." Proceedings of the 2001 conference on Virtual reality, archeology, and cultural heritage. 2001.
[3] Debevec, Paul, et al. "A lighting reproduction approach to live-action compositing." ACM Transactions on Graphics (TOG) 21.3 (2002): 547-556.
[4] Wenger, Andreas, et al. "Performance relighting and reflectance transformation with time-multiplexed illumination." ACM Transactions on Graphics (TOG) 24.3 (2005): 756-764.
[5] Debevec, Paul. "The light stages and their applications to photoreal digital actors." SIGGRAPH Asia 2.4 (2012): 1-6.
[6] ESPER, LightCage "https://www.esperhq.com/product/lightcage-scanning-rig/"
[7] Kampouris, Christos, and Abhijeet Ghosh. "ICL multispectral light stage: building a versatile LED sphere with off-the-shelf components." Proceedings of the Eurographics 2018 Workshop on Material Appearance Modeling. 2018.
[8] Wang, Zhibo, et al. "Single image portrait relighting via explicit multiple reflectance channel modeling." ACM Transactions on Graphics (TOG) 39.6 (2020): 1-13.
[9] Liang, Bin, et al. "Research on face specular removal and intrinsic decomposition based on polarization characteristics." Optics Express 29.20 (2021): 32256-32270.
[10] Pandey, Rohit, et al. "Total relighting: learning to relight portraits for background replacement." ACM Transactions on Graphics (TOG) 40.4 (2021): 1-21.
[11] "USC Institute for Creative Technologies Helped Create 3D Portraits of President Obama Now on Display at the Smithsonian." https://ict.usc.edu/news/press-releases/usc-institute-for-creative-technologies-helped-create-3d-portraits-of-president-obama-now-on-display-at-the-smithsonian/ 2014.
[12] "LEDs: Fighting Flicker" https://www.architectmagazine.com/technology/lighting/leds-fighting-flicker_o 2014.
[13] Ben-Ezra, Moshe. "Segmentation with invisible keying signal." Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2000 (Cat. No. PR00662). Vol. 1. IEEE, 2000.
[14] Sun, Tiancheng, et al. "Single Image Portrait Relighting." arXiv e-prints (2019): arXiv-1905.
部分设备的价格图
  • LED灯
      • notion image
      notion image
      notion image
      notion image
  • 其他LED灯
      • notion image
  • 木条
      • notion image
  • 偏振片
      • notion image

重照明设备组件

论文
框架
灯光
相机
背景
其他
Light Stage 1
木制外框架高3米，长宽2米；1.5m铁管x6
照明灯 x1
数码相机 x2
黑色幕布 2mx2m
ㅤ
Light Stage 2
可以水平转动的半圆结构，结构内壁排列可以嵌入照明设备
氙气频闪灯 x27 编程控制亮度；频闪次数
Uniq Vision UC-610 x1
拍摄环境不能有其他光源
ㅤ
ㅤ
ㅤ
ㅤ
Sony DXC-9000 x1
ㅤ
ㅤ
Light Stage 3
细分的正二十面体，直径2m；铁管x(120 - 5)
Color Kinetics的iColor MR光源，顶点安装RGB灯, 含18个红绿蓝LED灯珠; 而边安装红外线灯 x156
Sony DXC-9000 three-CCD color camera (night shot 摄像功能 + Hoya IR-pass 可以透过红外线的滤光器) x1
环境用哑光的幕布防止反射
三角支架 x1；玻璃分光器 x1
ㅤ
ㅤ
ㅤ
Uniq Vision UP-610 monochrome camera 单色相机 x1
ㅤ
ㅤ
Light Stage 5
同上
每个光源由3个Luxeon V白色LEDs组成，使用偏振片 x156
Vision Research Phantom v7.1 high-speed digital camera. (800x600 分辨率 4800fps)
同上
DLP高速投影仪; 灯光控制器：A Z-World Rabbit 2000 microcontroller drives the lights in arbitrary pattern sequences and triggers the camera’s shutter in sync with each pattern.
ㅤ
ㅤ
ㅤ
Canon 1D Mark III x5
ㅤ
ㅤ
Sun, Tiancheng, et al 2019
同上
同上
Machine vision camera x7
ㅤ
ㅤ
Light Stage 6
直径8m，类球形
6,666 LumiLEDs Luxeon V LEDs; To avoid suspending the actor in the air, only the upper 2/3rds of the dome was built and the floor was populated with its own set of Lambertian-distribution light sources.
three high-speed cameras
ㅤ
ㅤ
ESPER
细分的正二十面体; 直径2.5m
定制光源，每一个光源都由3个LEDs组成，并且三个LED前分别不装偏振片，加装水平偏振片和加装竖直偏振片。 x156
ㅤ
ㅤ
ㅤ
Kampouris, et al. 2018
细分的正二十面体；直径2.5m
两种灯并排：168 iColor MR gen3 lamps for RGB illumination：定制灯可以单独控制三色通道
Canon 800D
全黑背景
ㅤ
ㅤ
ㅤ
168 iW MR gen3 lamps for white illumination: 色温2700K – 5700K
PointGrey Grasshopper 3
ㅤ
ㅤ
Wang, Zhibo, et al. 2020
相机放灯左前，3排9列，弧形环绕正对着拍摄对象。
white area lights x27
Sony A5000 cameras x30
ㅤ
ㅤ
Liang, Bin, et al. 2020
细分的正二十面体；直径3m
单灯：深圳红方光电HF-D507W x156
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
双灯：深圳红方光电HF-D507W，每个光源包含7个LED灯珠；每组光源含两个光源，分别在光源前加装水平偏振片和竖直偏振片 x156组
Canon EOS-1D
ㅤ
ㅤ
ㅤ
ㅤ
new: 每个灯中3个LED灯珠；其中一个LED前加装水平偏振片和一个加装竖直偏振片，另一个不装。
DSLR cameras x36
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
Canon EOS-1D X Mark II x4
ㅤ
ㅤ
Pandey, Rohit, et al. 2021
类球形(猜测4米直径)
可编程 LED 灯(每组26颗LED灯珠分别有 RGBW 4种颜色) x331组
RGB相机 x58
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
 
Documents
  • Relighting
    • 逆向建模软件 Geomagic Design X 点云数据处理和导出面片模型的方法谷歌上搜不到我的博客?!
    • Giscus
    目录