谷歌推出AI照片打光神器LightLab,指哪亮哪,自然到不像AI生成的。 单张图片的点光源问题,一直以来都不太好解决。不仅要考虑图片中的光源角度,还要考虑光源数量。 而谷歌新发布的LightLab方法,用扩散模型把“打光”变成了图像空间里的滑块操作,亮多亮少、什么颜色,都能说了算。 具体来说,LightLab可以做到: - 控制任意光源:不论图片中的灯光是否开启,LightLab都能对其单独调节亮度与色温,还可以更换灯光颜色,例如从暖黄变为冷蓝,满足不同氛围需求。 - 添加虚拟光源:即使图像中原本没有光源,也可以通过点击任意位置“插入”一盏虚拟灯,调整其明亮程度和颜色,模拟真实照明效果。 - 调整环境光:除了直接照射的光源,LightLab还能精细控制环境光,如窗外自然光,使整个画面的氛围更加柔和统一。 - 真实自然的光影还原:得益于扩散模型的强大建模能力,LightLab可自动补全阴影、反射、遮挡等间接光效,让图像细节层次更加真实,尤其适合摄影作品后期处理。 背后的技术亮点在于,LightLab融合了扩散模型与大规模配对训练数据,兼顾真实与合成。 研究团队不仅收集了真实照片对(例如一张灯关、一张灯开的图像),还借助Blender渲染了60万张合成图,模拟各种复杂光照条件,从而保证模型既有真实感又能应对极端场景。 整个流程包括: - 输入图像 + 深度图 + 光源掩码 + 色温/强度参数; - 模型根据空间位置信息和全局光照条件,进行条件化生成; - 输出经过重新打光的图像,支持连续操作和多轮微调; - 所有输出图像都经过精细的色调映射(tone mapping),确保亮部不溢出、暗部保留细节。 实验结果显示,LightLab在图像质量评估中表现出色,PSNR达23.2,SSIM为0.818,明显优于现有方案如OmniGen与IC-Light;在用户偏好测试中,89.3%的参与者更喜欢LightLab生成的图像。 应用场景方面,LightLab不仅适用于室内外各种摄影图像,也支持非写实风格图,甚至能实现动画帧之间的光照一致性,特别适用于摄影后期、影视特效、以及AR/VR场景中的光照编辑。 感兴趣的小伙伴可以点击: 论文:
愤怒!美国全球封杀华为昇腾AI芯片,德国、法国连夜追加订单!欧洲一季度从东方大国
【28评论】【49点赞】