AI 让观众成为 3D 版《老友记》的导演了？

《老友记》上线 3D 版了？

允许用户旋转镜头，且从近景切换到全景观看故事？

今年出炉的 3D 方向 AI 项目 SitCom3D，能够自动补齐《老友记》原剧中的三维拍摄空间，用户可以选择主视图、侧视图等不同角度欣赏剧集。镜头的主导权在观众手中，仿佛亲临拍摄片场。

https://www.bilibili.com/video/BV1p84y1r7ye/?aid=606073788&cid=917566564&page=1

举个栗子，在原剧中只出现了以下两个画面。

看了《老友记》后，AI 直接还原出画面的 3D 场景，构造不同角度下的镜头故事。

https://www.bilibili.com/video/BV1p84y1r7ye/?aid=606073788&cid=917566640&page=2

这流畅的运镜，仿佛就是新上线的 3D 版老友记，并且你就是导演！

项目介绍：情景喜剧的三维重构

这个项目由 UC 伯克利的 Georgios Pavlakos 等研究人员在 ECCV 2022 “The One Where They Reconstructed 3D Humans and Environments in TV Shows” 论文中提出，旨在借助 AI 完成影视剧集中的 3D 重建。

3D 建模在很多领域都有广泛的应用，然而传统的重建方式耗时巨大，比如在制造业，一个工业级模型需要专业建模师花费数周时间。目前快速获得 3D 模型的方式有两种，一种是靠仪器扫描获得三维形状数据，例如点云；另一种则是基于深度学习，使用 AI 建模。后者更直观，且成本更低。想象一下用手机拍几张、甚至一张照片就能获得高精度的 3D 模型，既可以为元宇宙线上生活提供基础设施，又能在传统工业领域加速研发流程。

提到 2D 图像转 3D 模型，绕不开近两年大火的 NeRF 神经网络。自 2020 年发表以来众多高校和业界公司基于它研发了各自版本的 NeRF：英伟达推出了极速版的 instant NeRF；苹果的 NeuMan 框架等等。

NeRF 为 2D 转 3D 提供了新的思路，其背后的机制，相关论文解读有很多，这里仅做简述：NeRF 通过对数张 2D 照片的学习，使用神经辐射场的方式建立起像素点位置(x, y, z)和相机参数(θ, φ)对应图像的 volume density 体积密度和 RGB 颜色值的关系，训练完成后以此生成新的视角。通过这种方式，NeRF 相较传统的 3D 建模方式能够生成更精细的还原。

回到 TV Show 的三维重建项目，如下图所示，研究人员正是基于 NeRF 模型，通过分析整个剧集里的三维信息，精确感知和重建 3D 人体姿势和演员位置，并生成新的不存在剧集里的 2D 角度图像。

生成 3D 模型的原理如下图所示，首先从剧集输入中通过 SfM（Structure-from-Motion）方法估计出摄像机的位置，并通过 NeRF 重建出精确的环境 3D 场景信息。接着根据多镜头和单镜头的情形，进行人体 3D 重建。最后基于这些信息进行更多的编辑和开发，比如在电视剧中删除一个人，或者插入一只兔子。


这个项目目前已在 github 上开源。

项目地址：https://github.com/ethanweber/sitcoms3D
论文地址：https://ethanweber.me/sitcoms3D

感兴趣的小伙伴可以直接在矩池云上复现这个项目，具体操作方式如下：

项目复现：用矩池云快速实现三维重构

1、打开矩池云官网，进入主机市场，找到合适的机器

等待机器启动，启动完成界面如下，点击进入 Jupyter Notebook

2、进入命令行，进行代码下载与安装

依次输入以下命令

cd /mnt
git clone https://hub.fastgit.xyz/ethanweber/sitcoms3D.git

如果下载慢可以用进入 https://hub.fastgit.xyz/ethanweber/sitcoms3D 手动下载后上传

https://github.com/CMUAbstract/cote.git

进入文件夹

cd sitcoms3D/

安装依赖

pip install -r requirements.txt
pip install tqdm

解压数据
矩池云已经为大家准备好了 sitcoms3D 数据，大家直接将 /public/data/image/sitcoms3D_data.zip 解压到 sitcoms3D-master 项目文件夹中的 data 下即可

unzip /public/data/videos_and_music/sitcoms3D_data.zip -d /mnt/sitcoms3D/data

3、进入 Jupyter notebook

打开 demo，在 Jupyter 中“Run all cell”即可运行官方的例程。

4、调整版代码

官方 Demo 码有演示性质，直接运行有可能一些变量会受到干扰，因此我们对代码进行了一定的精简，可以根据需要用以下方式进一步进行使用。

这一模型导入的数据文件有以下七个目录，应该是不同的数据，比如默认的 sitcom_location = "Friends-monica_apartment" 表示从老友记里面选取数据

在第 2 个 cell 中更改 sitcom_location 可以改变数据。

sitcom_location = sit_locs[0] 
# sitcom_location = "Friends-monica_apartment"

下一步为是选择图像，原文中使用了 romdom 随机选择一个图像，我们可以加一行代码来指定自己的图像。

# choose a random image to work with
image_name = random.choice(list(nerf_image_name_to_info.keys()))
image_name = "ELR_S09E01_00007186.jpg"
print("Showing camera information for image:", image_name)
pprint(nerf_image_name_to_info[image_name])

更改后的代码如下：在不指定图像的情况下，每次 run all cell 即可随机抽取图像。

# import various modules
%load_ext autoreload
%autoreload 2
import copy
import json
import os
import random
from pprint import pprint

import mediapy as media
import numpy as np
import smplx
import torch
import trimesh
from tqdm import tqdm
# some custom code
# gross import... maybe put into a python module later
import sys
sys.path.append("..")
from utils.dataloader import human_to_nerf_space, load_colmap_cameras_from_sitcom_location
from utils.render_utils import render_human
from utils.io import load_from_json

这一段定位了数据的路径并抽取出图像

sit_locs = sorted(os.listdir("../data/sparse_reconstruction_and_nerf_data"))
print(sit_locs)

sitcom_location = sit_locs[3]
print("load.....",sitcom_location)

cameras = load_from_json(f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}/cameras.json")

nerf_image_name_to_info = {}
for dict_ in cameras["frames"]:
    nerf_image_name_to_info[dict_["image_name"]] = {
        "intrinsics": np.array(dict_["intrinsics"]),
        "camtoworld": np.array(dict_["camtoworld"]),
    }
  
image_name = random.choice(list(nerf_image_name_to_info.keys()))
print("image name: ", image_name)
  
basedir = f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}"
colmap_image_name_to_info = load_colmap_cameras_from_sitcom_location(basedir)

point_cloud_transform = np.array(cameras["point_cloud_transform"])
scale_factor = np.array(cameras["scale_factor"])
# colmap_rescale = float(smpl_data["colmap_rescale"])

根据抽取的图像读取其中的人物数据

# the set of image names that we used for nerf
# these images are included in the sparse_reconstruction_and_nerf_data/ folder
nerf_image_names = set(nerf_image_name_to_info.keys())

# the set of image names that we have smpl parameters for
# this is wherever our method "calibrated multi-shot" was run
human_pairs = load_from_json(f"../data/human_pairs/{sitcom_location}.json")
image_name_to_shot_change_image_name = {}
calibrated_multishot_image_names = set()
for image_name_a, human_idx_a, image_name_b, human_idx_b in human_pairs:
    calibrated_multishot_image_names.add(image_name_a)
    calibrated_multishot_image_names.add(image_name_b)
    image_name_to_shot_change_image_name[image_name_a] = image_name_b
    image_name_to_shot_change_image_name[image_name_b] = image_name_a

image_names = nerf_image_names.intersection(calibrated_multishot_image_names)
print("Found {} images that are used for nerf and contain smpl parameters".format(len(image_names)))

# choose a random image name to work with and visualize
# image_name = random.choice(list(image_names))
# image_name = "Friends_S08E20_00001431.jpg"

# read data for the image and a human...
human_data = load_from_json(f"../data/human_data/{sitcom_location}.json")

image_human_data = human_data[image_name]
print("going to visualize image {} with {} humans".format(image_name, len(image_human_data)))

显示读取的图片

image = media.read_image(f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}/images/{image_name}")
media.show_image(image, height=200)

导入 SMPL 模型

model_folder = "../data/smpl_models"
model_type = "smpl"
gender = "neutral"

body_model = smplx.create(model_folder,
                     model_type=model_type,
                     gender=gender)

用于将人物数据加载到模型，提取出 mesh 的函数

def get_human_obj_mesh(image_name: str, human_idx: int):
    if "smpl" not in human_data[image_name][human_idx]:
        print(f"smpl values don't exist for {image_name} and human_idx {human_idx}")
        return None
    smpl_data = human_data[image_name][human_idx]["smpl"]
    print(smpl_data.keys())

    camera_translation = torch.tensor(smpl_data["camera_translation"])[None]
    betas = torch.tensor(smpl_data["betas"])[None]
    global_orient = torch.tensor(smpl_data["global_orient"])[None]
    body_pose = torch.tensor(smpl_data["body_pose"])[None]
    colmap_rescale = float(smpl_data["colmap_rescale"])

    output = body_model(
        betas=betas,
        global_orient=global_orient,
        body_pose=body_pose,
        return_verts=True)

    vertices = output.vertices + camera_translation
    pose_colmap = torch.from_numpy(colmap_image_name_to_info[image_name]["camtoworld"]).float()
    pose_colmap[:3,3] *= colmap_rescale
    # homogeneous coordinates
    vertices = torch.cat([vertices, torch.ones_like(vertices[..., 0:1])], dim=-1)
    vertices = vertices @ pose_colmap.T
    vertices = vertices[...,:3]

    out_mesh = trimesh.Trimesh(vertices[0].detach().numpy(), body_model.faces, process=False)
    human_obj_filename = "temp.obj"
    out_mesh.export(human_obj_filename);

    # specify the human to render
    obj_mesh_original = trimesh.load(human_obj_filename, process=False)
    obj_mesh = human_to_nerf_space(obj_mesh_original, point_cloud_transform, scale_factor, colmap_rescale)
    return obj_mesh

应用 get_human_obj_mesh 函数，获取图像的 mesh 数据

human_obj_meshes = []
for human_idx in range(len(image_human_data)):
    print("human_idx", human_idx)
    obj_mesh = get_human_obj_mesh(image_name, human_idx)
    if obj_mesh:
        human_obj_meshes.append(obj_mesh)

现实提取出模型的结果

def show_humans(human_obj_meshes, pose, K, image_name):
    image = media.read_image(f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}/images/{image_name}")
    color_h, depth_h, alpha_h = render_human(human_obj_meshes, pose, K)
    media.show_image(image, height=200, title="Image we use for camera pose and intrinsics")
    media.show_image(color_h, height=200, title="Image of humans rendered from this camera")
    composited = (color_h * alpha_h[...,None] + image * (1 - alpha_h[...,None])).astype("uint8")
    media.show_image(composited, height=200, title="Composited image")

pose = nerf_image_name_to_info[image_name]["camtoworld"]
K = nerf_image_name_to_info[image_name]["intrinsics"]
show_humans(human_obj_meshes, pose, K, image_name) # image_name to read the background image

模型的局限性

当然，Sitcoms 也受到训练模型的的一些局限性，在我们运行的案例中，有相对成功的结果，也有相对混乱的结果。

相对失败的图片可以完整地提取出三维信息，但有可能图片仅能显示出画面的一部分人，甚至会将一些物体误判为人物，Sitcom 仍存在一些鲁棒性的问题。

参考资料

论文地址：https://arxiv.org/abs/2207.14279
GitHub 地址：https://github.com/ethanweber/sitcoms3D
项目主页：https://ethanweber.me/sitcoms3D/