记录一些个人常用的命令

默认使用 WSL 1 的命令行窗口。

1 FFmpeg

序列帧转视频

1
2
ffmpeg.exe -start_number xxx -framerate 30 -i "%04d.png" -r 30 -c:v libx264 -crf 25 output.mp4
ffmpeg.exe -start_number xxx -framerate 30 -i "%04d.png" -r 30 -c:v libx264 -crf 0 -preset veryslow output.mp4

字幕 ass 文件转 mov

需要注意更改：分辨率、结束时间、帧率

1
ffmpeg.exe -f lavfi -i "color=color=black@0.0:size=2880x1620,format=rgba,subtitles=<subtitle>.ass:alpha=1" -c:v png -t "0:01:50.37" -framerate 30 -r 30 <subtitle>.mov -stats

更改图片分辨率

假设需要将输入图片的分辨率改为1920x1080

1
ffmpeg.exe -i in.png -vf scale=1920:1080 -pred mixed out.png

修改音频采样率

1
ffmpeg.exe -i a.mp3 -ar 48000 output.mp3

格式转换

1
2
3
ffmpeg.exe -i in.m4a out.mp3 # 音频格式转换
ffmpeg.exe -i in.mp4 out.mp3 # 提取视频的音频
ffmpeg.exe -i in.mkv -c:v libx264 -crf out.mp4 # 视频转mp4，x264编码
阅读全文 >>

WandB 本地服务器部署

最近在跑 NeRF 的实验，使用了 WandB 记录实验数据以及可视化模型训练过程。但我不太想把数据上传到 WandB 官方的服务器，于是决定在自己的服务器上搭建一个 WandB 服务，在此记录一下。

1 安装docker

我的服务器操作系统是 Ubuntu 22.04 LTS.

首先添加使用 HTTPS 传输的软件包以及 CA 证书。

1
2
sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl gnupg lsb-release

再添加软件源的 GPG 密钥，这里使用的国内源。

1
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

然后向 sources.list 中添加 Docker 软件源。

1
echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

更新 apt 软件包缓存，并安装 docker-ce.

1
2
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

之后便可以启动 docker.

1
2
sudo systemctl enable docker
sudo systemctl start docker
阅读全文 >>

Monte Carlo Volume Rendering 原理

原理

参考资料

公式

  • nerf 的积分公式
    • image-20220902150611361
  • 目标：获得一个数值解，使得该数值解的期望值等于积分的值
    • nerf ray marching：采样 1 条光线，这条光线上取 1024个 采样点
    • monte-carlo：采样 n 条光线，每条光线上取 少量 采样点，最终结果为 n 条光线结果的均值
      • 每条光线相互独立，因此可以每一帧只采样 1 条光线，再根据相邻帧的结果进行降噪（即时序降噪）
    • 每像素采样数 (spp) = 采样光线的数量
  • 完整的 volume rendering 公式
    • 记号说明：密度 $\sigma \to \mu$，颜色 $c \to L$，$\tau = \int_0^y\mu_t(s) \,\mathrm{d}s$
    • nerf 没有 in-scattering 这一项
    • image-20220902151406809
  • 利用下式写成蒙特卡洛形式
    • image-20220902152830548
阅读全文 >>

Win11 若干疑难杂症的解决方法

最近换了新电脑，预装了 win11，踩了各种奇奇怪怪的坑，在此记录一下。

1 开机输入密码后长时间等待

搜出来一堆 csdn 告诉我是硬盘坏了，我这刚买的新电脑啊喂 =_=

最后终于搜到了一些和我的情况相同的帖子。

试了一下，把网线拔了以后确实能秒登录。。但每次开机都要拔网线也太麻烦了，因此写了一个脚本，每次开机时断网再联网，具体的实现办法是将对应的网络适配器先禁用再启用。脚本代码贴在下面，该脚本需要以管理员身份运行。注意脚本里含中文，一般系统语言是中文的情况下需要使用 GBK 编码，utf-8 会报错。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
@echo off

if "%1" == "on" (
    call:enable_network
    echo network enabled.

) else if "%1" == "off" (
    call:disable_network
    echo network disabled.

) else if "%1" == "reset" (
    call:disable_network
    call:enable_network
    echo network reset.

) else (
    echo Invalid operation!

)
goto:eof

@REM ============= functions ==============

:enable_network
netsh interface set interface name="以太网" admin=ENABLED
netsh interface set interface name="WLAN" admin=ENABLED
goto:eof

:disable_network
netsh interface set interface name="以太网" admin=DISABLED
netsh interface set interface name="WLAN" admin=DISABLED
goto:eof

最后再到任务计划程序中创建一个任务，并进行以下设置：

  • 常规：注意需要勾选「使用最高权限运行」。测试时发现选择「只在用户登录时运行」无法执行脚本，而选择「不管用户是否登录都要运行」后成功执行。
  • 触发器：新建一项，「开始任务」选择「登录时」。
  • 操作：新建一项，「操作」选择「启动程序」，「程序与脚本」填写脚本文件的路径，「添加参数（可选）」填写「reset」
阅读全文 >>

GAMES202 - Real-time Ray Tracing

1 时间上的滤波

  • 关键思路
    • 假设上一帧已滤波，并重复利用上一帧的信息
    • 利用 motion vector
    • SPP 的累积数量是指数递增的
  • back projection
    • 找到当前帧 i 中的像素 x 在第 i - 1 中的像素位置
    • 第一步：将屏幕空间的点变换到世界空间中
      • 可以用 G-buffer 预先储存世界坐标
      • 如果没有储存，做坐标变换即可：$s = M^{-1}V^{-1}P^{-1}E^{-1}x$
      • 假设上一帧到这一帧的变换为 $s’ \overset{T}{\rightarrow}s$，则 $s’=T^{-1}s$
      • 使用上一帧的坐标变换，投影到上一帧的屏幕空间：$x’=E’P’V’M’s’$

  • 先对当前帧做 spatial 降噪，再与上一帧进行 alpha blend

    • image-20220406151526130
    • $\alpha$ 一般取 0.1 - 0.2

  • 存在的问题

    • 切换场景 / 场景的第一帧
      • 场景、光照的突变
    • 倒退着走的情况
      • 从屏幕边缘新出现的点在上一帧没有出现
    • 突然改变的遮挡关系 (disocclusion)
      • 上一帧的某个被挡住的物体在这一帧出现了
      • 本质原因：G-buffer 只储存了屏幕空间的信息
      • 如果强行使用上一帧信息，会出现残影
      • image-20220406152814409
    • shading 带来的问题
      • 阴影
      • glossy 材质

  • 解决办法

    • Clamping
      • 先将上一帧的结果 clamp 到接近当前帧的结果，再进行混合
    • Detection
      • 检测上一帧的像素是否可用
        • eg. 记录一个 object ID，检测上一帧对应的物体是否与当前帧相同
      • 如果发现上一帧不可用，调整 $\alpha$ 的值，增大当前帧的权重
      • 新带来的问题：引入了更多当前帧的噪声
    • Temporally Reliable Motion Vectors for Real-time Ray Tracing, Eurographics 2021
阅读全文 >>

GAMES202 - Global Illumination

1 实时全局光照

1.1 简介

  • 实时渲染中，一般考虑 one-bounce 的间接光照
  • 把被光源直接照亮的表面看作新的光源(secondary light)
  • 我们需要知道什么信息来计算间接光照？
    • 哪些surface patch是被光源照亮的？
      • 可以由shadow map找到
    • 这些patch的贡献是多少？
      • 把每个patch看做面光源

1.2 辐射度量学

  • Flux / Power
    • 总能量大小
  • Radiant Intensity
    • 单位立体角上的能量大小
  • Irradiance
    • 单位面积上的能量大小
  • Radiance
    • 单位面积、单位立体角上的能量大小

2 Reflective Shadow Map (RSM)

  • 3D 空间的实时全局光照

  • 把 shadow map 上的每一个 texel 都认为是一个次级光源

  • 假设：认为所有的反射物（次级光源）都是 diffuse 的

    • shading point可能从各个方向看向次级光源，通过该假设可以简化计算
阅读全文 >>

GAMES202 - Environment Lighting

1 概念

  • 用一张图来记录在场景中往任意方向看，可以看到的光照
  • 认为光照来自于无限远
  • 储存方式
    • Spherical Map
    • Cube Map
  • 仍然需要对渲染方程进行求解
  • 对于环境光问题，近似求解渲染方程的办法：
    • Image-Based Lighting (IBL)
    • Precomputed Radiance Transfer (PRT)

2 Image-Based Lighting (IBL)

  • 通用解法：蒙特卡洛积分 → 慢！

如果 shader 里出现了采样，一般认为是无法用在实时渲染中的； 但由于最近降噪方法的兴起，一部分采样算法能在实时渲染中使用了

  • 使用之前的重要近似方案

    • 如果 BRDF 是 glossy 的，那么有效的积分域将会很小；

    • 如果 BRDF 是 diffuse 的，那么它的函数值变化是非常smooth的

      img

  • 回顾重要近似

    img

  • 工业界把这种拆分方法叫做 Split Sum

    img

阅读全文 >>

NeRF Faster Inference 调研（2）

汇总

Plenoxels: Radiance Fields without Neural Networks

Info

Method

  • image-20220323220157130

  • 不使用神经网络

  • 场景用 voxel 表达，每个 voxel 的顶点处存储球谐函数的系数
    • 使用了 2 阶球谐函数，共 9 个系数 -> 尝试用小波函数优化？
    • GAMES202 课件：一般情况下，使用 4 阶 16 个 SH 函数
  • 渲染时，每个 voxel 对应的颜色值通过插值得到
  • loss：MSE + variation
  • 核心工作是加速训练过程
  • 该论文的结果表明：NeRF 的关键在于可微分的 volume rendering 部分，而不是神经网络

Result

  • 只对比了训练时间和图像质量，未给出测试时的帧率等数据
  • image-20220323220836486
阅读全文 >>

GAMES202 - Real-time shadows

1 Shadow Mapping

  • 渲染两趟(2-pass)
  • 是一个图像空间中的算法
  • Pass 1
    • 从光源位置渲染场景，输出离光源最近的深度，即为shadow map
  • Pass 2
    • 从相机出发，先找到当前像素位置看到的物体表面位置
    • 从该位置向光源方向投影到shadow map上，查找是否被遮挡
  • 相较于shadow ray的优势
    • shadow ray在每个交点处对所有光源发射，每发射一次都要与场景求交，开销大
    • shadow map只需要在第一趟求交，之后判断遮挡只需要查询shadow map
  • 优点
    • 不需要了解场景的实际几何分布，只需要有shadow map
  • 缺点
    • shadow map将场景的深度分布离散化，在一个像素区域内深度值为常数
    • 容易造成自遮挡、锯齿
  • 自遮挡解决办法
    • 增加小量bias，只有距离超过bias才认为被遮挡
    • bias可以为变量，例如根据夹角动态地调整
    • 如果bias过大，会造成不接触的阴影(detached)
  • Second-depth shadow mapping
    • 在shadow map中储存第二小的深度
    • 将最小深度和第二小深度的中间值作为深度比较的参考值
    • 解决自遮挡问题，并且不需要引入bias
    • 缺点
      • 模型必须封闭(watertight)
      • 维护两个最小值，开销更大

2 Shadow Mapping的数学原理

  • 实时渲染中，许多不等式都把它看做左右两边近似相等

  • 重要近似：

    img

    • 分母用于将f(x)的积分值归一化

  • 什么时候该近似比较准确

    • 积分区域比较小
    • g(x)在积分域范围内变化非常小(smooth)
阅读全文 >>

NeRF Faster Inference 调研（1）

汇总

PlenOctrees for Real-time Rendering of Neural Radiance Fields

Info

  • 会议：ICCV
  • 年份：2021

Method

  • 训练一个 NeRF-SH 网络
    • 将原来的 color 输出改为了球谐函数
    • 球谐函数可以用来表示 view-dependent 的表面
    • image-20220316162044411
  • 把该网络转化成一个八叉树
    • 对场景中的点进行采样，根据网络预测的 density 构建八叉树
      • 叶结点中存放当前位置的球谐函数系数
    • 构建好八叉树结构后，利用训练样本优化叶结点中的值（Fine-tuning）
    • 渲染时不需要经过网络，只需要访问叶结点
    • image-20220316162536788

Result

  • 渲染速度大概是原版 NeRF 的 3000 倍

image-20220316163314696

阅读全文 >>

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true