输入视频，通过文本可对视频人物进行修改，一键换脸、一键换装、调整人像的光照效果等。 以下是官方介绍。

PortraitGen 将 2D 人像视频提升到 4D 。 它只需 30 分钟即可实现多模态人像编辑。 编辑后的 3D 肖像也可以以 100 FPS 渲染。

我们首先跟踪给定单目视频的 SMPL-X 系数，然后使用 Neural Gaussian Texture 机制获得 3D Gaussian 特征场。这些神经高斯分布进一步展开以呈现肖像图像。采用迭代数据集更新策略进行人像编辑，并提出多模态人脸感知编辑模块，以提高表情质量并保留个性化面部结构。多模态人像编辑

我们的方案是一个统一的人像视频编辑框架。任何保留结构的图像编辑模型都可用于合成 3D 一致且时间相干的人像视频。

 文本驱动编辑

我们使用 InstructPix2Pix 作为 2D 编辑模型。它的 UNet 接受三个输入：一个输入 RGB 图像、一个文本指令和噪声潜伏。我们将部分噪声添加到渲染图像中，并根据输入源图像和指令对其进行编辑。