15362
Introduction & The Graphics Pipeline
Components Of Graphics:
Rasterization: 如何把三角形转换成屏幕上的 pixels?
Mesh Editing: 如何用数学和数据结构表示一个 3D 物体?
Path Tracing: 如何模拟真实世界中的光线传播?
Animation: 如何让 3D 场景随时间变化?
The Graphics Pipeline:
One triangle from vertex buffer to framebuffer. Clip & viewport = clipping, perspective divide to NDC, and viewport mapping. Tessellation mixes programmable and fixed stages; depth and stencil tests are omitted. Adapted from the Vulkan Tutorial .
从 3D 数据到 2D 数据,使得计算更容易。
Shaders are any string of code run on the GPU
Homogeneous Coordinates : 从二维视角来看,对于 𝑝 ′ = ( 𝑥 , 𝑦 ) p ′ = ( x , y ) ,如果有 𝑝 = ( 𝑎 , 𝑏 , 𝑐 ) p = ( a , b , c ) (𝑐 ≠ 0 c ≠ 0 )使得 ( 𝑎 𝑐 , 𝑏 𝑐 ) = ( 𝑥 , 𝑦 ) ( a c , b c ) = ( x , y ) ,则称 𝑝 p 是 𝑝 ′ p ′ 的 homogeneous coordinates。
这样子的话,比如说 translation 就变成了 shear。
01 / Normalize
One point, many representatives
( 2 , 2 , 2 ) ∼ ( 1 , 1 , 1 ) ↦ ( 1 , 1 ) . ( 2 , 2 , 2 ) ∼ ( 1 , 1 , 1 ) ↦ ( 1 , 1 ) .
02 / Transform
Translation as a shear
△ 𝑂 𝑄 𝑄 ′ ∼ △ 𝑂 𝑃 𝑃 ′ , Δ 𝑎 / 𝑐 = 1 . △ O Q Q ′ ∼ △ O P P ′ , Δ a / c = 1.
⎛ ⎜
⎜
⎜ ⎝ 1 0 𝑡 𝑥 0 1 𝑡 𝑦 0 0 1 ⎞ ⎟
⎟
⎟ ⎠ ⎛ ⎜
⎜
⎜ ⎝ 𝑎 𝑏 𝑐 ⎞ ⎟
⎟
⎟ ⎠ = ⎛ ⎜
⎜
⎜ ⎝ 𝑎 + 𝑡 𝑥 𝑐 𝑏 + 𝑡 𝑦 𝑐 𝑐 ⎞ ⎟
⎟
⎟ ⎠ ⟼ ( 𝑥 + 𝑡 𝑥 𝑦 + 𝑡 𝑦 ) . ( 1 0 t x 0 1 t y 0 0 1 ) ( a b c ) = ( a + t x c b + t y c c ) ⟼ ( x + t x y + t y ) .
Left: every point on a line through O except O itself represents the same 2D point; dividing by c ≠ 0 picks the one on c = 1. Right: the b = 0 slice under translation (1, 0). The shift grows with c, so it is exactly one unit after division, and the c = 0 axis, where directions live, does not move.
通常情况下,我们用 𝑐 = 1 c = 1 表示点,而 𝑐 = 0 c = 0 代表一个方向,我们认为它是 vector。
Scene Graph : 每个部件只保存相对父节点的变换,沿树组合就得到 world coordinates;移动身体会带动整个人,移动大腿会连带小腿。
Local coordinates → world coordinates. Each colored axis pair is a part's local frame; 𝐴 𝑖 A i maps it into its parent's frame.
𝑝 l o c a l p local 是一个点在左小腿 local space 中的 homogeneous coordinates,𝑝 w o r l d p world 是同一个点在整个场景的 world space 中的 homogeneous coordinates。两者满足
𝑝 w o r l d = 𝐴 0 𝐴 1 𝐴 2 𝑝 l o c a l , 𝑝 l o c a l = ( 𝐴 0 𝐴 1 𝐴 2 ) − 1 𝑝 w o r l d . p world = A 0 A 1 A 2 p local , p local = ( A 0 A 1 A 2 ) − 1 p world .
因此递归时只需传下 𝑊 c h i l d = 𝑊 p a r e n t 𝐴 c h i l d W child = W parent A child ;inverse transform 存在时,w o r l d → l o c a l world → local 为 𝐴 − 1 2 𝐴 − 1 1 𝐴 − 1 0 A 2 − 1 A 1 − 1 A 0 − 1 。
Instancing : 不同的地方 point to 一个物体。这样子 Scene Graph 就可以变成 DAG 了。
Two paths in the scene graph (𝐴 1 A 1 from World and 𝐴 0 𝐴 2 A 0 A 2 through Hill) reference the same Dandelion subgraph, turning the tree into a DAG. Each reference applies its own transform, while editing the shared geometry updates every instance.
Quaternions : ℍ : = s p a n ( 1 , 𝑖 , 𝑗 , 𝑘 ) H := span ( 1 , i , j , k ) ,三个正交的虚部,所以 𝑖 2 = 𝑗 2 = 𝑘 2 = 𝑖 𝑗 𝑘 = − 1 i 2 = j 2 = k 2 = i j k = − 1 。Quaternion 能代表三维的旋转,但因为三维旋转不满足交换律,所以 quaternion 的乘法也不满足交换律。
01 / Cyclic 90° turns
Left-multiplying by i, j, k
𝑖 𝑗 = 𝑘 , 𝑗 𝑘 = 𝑖 , 𝑘 𝑖 = 𝑗 ⟹ 𝑖 ( 𝑗 𝑘 ) = 𝑖 2 = − 1 . i j = k , j k = i , k i = j ⟹ i ( j k ) = i 2 = − 1.
02 / Order matters
Non-commutative 3D rotations
𝑞 𝑖 𝑞 𝑗 = 1 + 𝑖 + 𝑗 + 𝑘 2 ≠ 1 + 𝑖 + 𝑗 − 𝑘 2 = 𝑞 𝑗 𝑞 𝑖 , 𝑞 𝑢 = 1 + 𝑢 √ 2 . q i q j = 1 + i + j + k 2 ≠ 1 + i + j − k 2 = q j q i , q u = 1 + u 2 .
Left: 𝑖 , 𝑗 , 𝑘 i , j , k form a right-handed orthonormal imaginary basis; left-multiplying by an imaginary unit rotates the perpendicular plane by + 9 0 ∘ + 90 ∘ (for example 𝑗 𝑖 ⋅ → 𝑘 𝑖 ⋅ → − 𝑗 j → i ⋅ k → i ⋅ − j , so 𝑖 2 = 𝑗 2 = 𝑘 2 = 𝑖 𝑗 𝑘 = − 1 i 2 = j 2 = k 2 = i j k = − 1 ), while reversing the order flips the sign (𝑗 𝑖 = − 𝑘 j i = − k ). Right: unit quaternions encode a 3D rotation of angle 𝜃 θ about axis 𝑢 u via 𝑞 = c o s 𝜃 2 + 𝑢 s i n 𝜃 2 q = cos θ 2 + u sin θ 2 (so 𝑖 , 𝑗 , 𝑘 i , j , k themselves act as 1 8 0 ∘ 180 ∘ turns, and 𝑞 𝑢 = 1 + 𝑢 √ 2 q u = 1 + u 2 gives + 9 0 ∘ + 90 ∘ ). Composing 𝑞 𝑖 q i and 𝑞 𝑗 q j in opposite orders lands in different 3D orientations because 𝑖 𝑗 = 𝑘 ≠ − 𝑘 = 𝑗 𝑖 i j = k ≠ − k = j i .
对于一个三维坐标中的点 ( 𝑥 , 𝑦 , 𝑧 ) ( x , y , z ) ,我们可以用 quaternion 0 + 𝑥 𝑖 + 𝑦 𝑗 + 𝑧 𝑘 0 + x i + y j + z k 来表示。也就是说对于三维点 𝑝 p ,我们有 𝑝 ∈ I m ( ℍ ) p ∈ Im ( H ) 。
现在的目标是对于 𝑝 = 𝑥 𝑖 + 𝑦 𝑗 + 𝑧 𝑘 p = x i + y j + z k ,我们希望其绕 unit vector 𝑢 = 𝑥 𝑢 𝑖 + 𝑦 𝑢 𝑗 + 𝑧 𝑢 𝑘 u = x u i + y u j + z u k (‖ 𝑢 ‖ = 1 ‖ u ‖ = 1 )旋转 𝜃 θ 。
我们可以构造
𝑞 = c o s 𝜃 2 + s i n 𝜃 2 𝑢 , ‖ 𝑞 ‖ 2 = 1 q = cos θ 2 + sin θ 2 u , ‖ q ‖ 2 = 1
那么旋转后的结果就是 𝑞 𝑝 𝑞 − 1 q p q − 1 。
这里的数学证明可以问 GPT 就不赘述了。从感性上来讲,用 𝜃 2 θ 2 是为了 𝑞 q 和 𝑞 − 1 q − 1 每次转一半,保持实部永远为 0 0 。
Perspective Projection & Rasterization
基础模型是 The Pinhole Camera。
View frustum 规定了 the region the camera can see。是一个锥形区域。
Pinhole camera and view frustum in right-handed camera space (looking along − 𝑧 − z ): a ray from 𝑃 P passes through the pinhole ( 0 , 0 , 0 ) ( 0 , 0 , 0 ) onto the inverted sensor at 𝑃 ′ P ′ , with planar depth measured along − 𝑧 − z . Corner rays from the sensor bound the visible frustum between − 𝑧 n e a r − z near and − 𝑧 f a r − z far .
我们会将 view frustum 转化为 Normalized Device Coordinates (NDC):
从视锥截面到 NDC n = 1 · f = 10 · near 半宽 = 0.5
原空间:横轴 x,纵轴深度 d 横线代表深度切片。A、B、C 位于同一视线上;变换后横坐标相同,深度仍然不同。 A B C 相机空间 · x / d near: d = 1 → far: d = 10 变换结果:横轴归一化 x,纵轴归一化深度 横线代表深度切片。A、B、C 位于同一视线上;变换后横坐标相同,深度仍然不同。 A B C 变换结果 · x / 深度 near: −1 → far: +1 播放 变换进度 100% · NDC 正方形
左图为相机空间截面,右图展示透视映射结果;横线为等距深度切片(d = 1…10),A、B、C 位于同一条视线上。变换后直线仍为直线,远处切片更加密集;中间过渡仅用于示意。
具体的线性变换可以看 这里 ,不赘述。
值得注意的是,假设原坐标是 ( 𝑥 𝑒 , 𝑦 𝑒 , 𝑧 𝑒 ) ( x e , y e , z e ) ,经过 projection matrix 与 perspective division 转成 NDC 后是 ( 𝑥 𝑛 , 𝑦 𝑛 , 𝑧 𝑛 ) ( x n , y n , z n ) ,depth 满足:
𝑧 𝑛 = 𝑓 + 𝑛 𝑓 − 𝑛 + 2 𝑓 𝑛 ( 𝑓 − 𝑛 ) 𝑧 𝑒 z n = f + n f − n + 2 f n ( f − n ) z e
其中 𝑛 = 𝑧 n e a r , 𝑓 = 𝑧 f a r n = z near , f = z far 分别为 near plane 和 far plane 到相机的距离,它们在 camera space 中的 𝑧 z 坐标为 − 𝑛 − n 和 − 𝑓 − f 。
考虑到
∣ d 𝑧 𝑛 d 𝑧 𝑒 ∣ = 2 𝑓 𝑛 ( 𝑓 − 𝑛 ) 𝑧 2 𝑒 = 2 ( 1 𝑛 − 1 𝑓 ) 𝑧 2 𝑒 | d z n d z e | = 2 f n ( f − n ) z e 2 = 2 ( 1 n − 1 f ) z e 2
当 𝑓 ≫ 𝑛 f ≫ n 时,1 𝑛 − 1 𝑓 ≈ 1 𝑛 1 n − 1 f ≈ 1 n ,斜率近似为 2 𝑛 𝑧 2 𝑒 2 n z e 2 。因此在 𝑛 n 较小时,一旦物体远离相机(| 𝑧 𝑒 | | z e | 较大、靠近 far plane − 𝑓 − f ),𝑧 𝑛 z n 随 depth 的变化就会非常平缓,使得两个深度不同的物体在 quantization 前 𝑧 𝑛 z n 的差值就已经很小。
因为 depth buffer 只能以有限精度存储 𝑧 𝑛 z n ,在远处这段几乎水平的区间里,两个距离相机略有不同的表面(比如一张纸放在桌子上)经过 quantization 和 rasterization interpolation 舍入后,很容易落到同一个深度值甚至发生大小反转。于是 pixel 前后关系随视角微动或跨 pixel 随机翻转,画面上就会出现交错闪烁的撕裂条纹,即 z-fighting 。
因此,在保证不裁掉前景的前提下尽量增大 near plane 距离 𝑛 n 能有效改善远处的 depth precision;此外,现代 graphics pipeline 也常在 [ 0 , 1 ] [ 0 , 1 ] depth 范围下采用 floating-point depth buffer 配合 reversed-Z(将 near plane 映射到 1 1 、far plane 映射到 0 0 ),利用浮点数在 0 0 附近更高的指数密度来抵消 1 𝑧 𝑒 1 z e 带来的远端压缩。
较窄深度范围 当近平面与远平面距离较近时,z_n 在 [-1, 1] 内随 z_e 变化较为平缓均匀。 较窄深度范围 narrow ze zn 1 −1 −f −n 较宽深度范围 当远平面与近平面比值过大时,曲线在靠近 -f 处几乎平贴 z_n = 1,不同深度映射后几乎相等,造成 z-fighting。 较宽深度范围 wide ze zn 1 −1 −f −n 深度精度不足 (z-fighting) 透视除法使 zn 按 1 / ze 非线性变化。右图中 [−f, −n] 跨度更大(f / n 更大),大部分深度值挤在近平面 −n 附近,远端曲线几乎贴平 zn = 1 ,从而引发 z-fighting。
得到 NDC 之后,我们就可以把所有东西投影到二维。接下来考虑怎么在二维上把图画出来,rasterization 是做这个过程,把三角形转化为 pixels。
对于直线,我们可以使用 Bresenham's line algorithm。大致思想就是假设斜率 𝑦 𝑟 − 𝑦 𝑙 𝑥 𝑟 − 𝑥 𝑙 ∈ [ 0 , 1 ] y r − y l x r − x l ∈ [ 0 , 1 ] ,如果不在范围可以用翻转啥的分类讨论一下。然后 𝑥 x 从左往右扫,对于每个 𝑥 𝑖 + 1 2 x i + 1 2 算出对应的
𝑦 𝑖 + 1 2 = ⌊ 𝑦 𝑟 − 𝑦 𝑙 𝑥 𝑟 − 𝑥 𝑙 ( 𝑥 𝑖 + 1 2 − 𝑥 𝑙 ) + 𝑦 𝑙 ⌋ + 1 2 y i + 1 2 = ⌊ y r − y l x r − x l ( x i + 1 2 − x l ) + y l ⌋ + 1 2
其中 + 1 2 + 1 2 是为了算中心;实际实现时,Bresenham 通过递推维护增量 error term,把每步的浮点乘除化为纯整数加减。
Bresenham 直线光栅化 (0.5, 0.5) → (10.5, 4.5) · 斜率 m = 0.4
全局像素网格:沿列中心从左向右逐列扫描直线 11 乘 6 像素网格,理想直线从 (0.5, 0.5) 连到 (10.5, 4.5),斜率为 0.4;绿色方格为已选出的像素,蓝色虚线框标出右侧放大的 2 乘 2 局部窗口。 全局扫描 理想直线 选中像素 0 2 4 6 8 10 0 2 4 6 x y x = 7.5
局部放大:在 x = 7.5 处比较上下两个候选像素 放大相邻两列、上下两行的 2 乘 2 像素窗口。水平红色虚线为上下两候选像素的整数分界线,理想直线高度越过该分界时取整上移一行,否则保持同行。 局部放大 · x = 7.5 y = 3.3 4 3 2 y 6.5 x = 7.5 ✓ 中心 3.5 分界 y = 3 中心 2.5 采样 x = 7.5 高度 y = 3.3 3.3 ≥ 3 → 上移选 (7, 3)
播放 上一步 下一步 扫描列 第 8 / 11 列 · (7, 3)
左图沿列中心 𝑥 𝑖 + 1 2 x i + 1 2 逐列扫描;右图放大当前 2 × 2 窗口,只需判断交点高度 𝑦 y 是否越过上下两候选像素的整数分界线 𝑦 𝑖 − 1 + 1 y i − 1 + 1 即可决定是否上移一行。点击左图任意列或拖动滑块可逐步查看。
对于三角形,我们先考虑一个点是否在三角形内。这个用三个 cross product 很容易判断。假设三角形 △ 𝐴 𝐵 𝐶 △ A B C ,三个点 𝐴 , 𝐵 , 𝐶 A , B , C 逆时针转。对于有向边 ⟶ 𝐴 𝐵 A B → ,我们定义 edge function
𝐸 𝐴 𝐵 ( 𝑥 , 𝑦 ) = ( 𝑥 𝐵 − 𝑥 𝐴 ) ( 𝑦 − 𝑦 𝐴 ) − ( 𝑦 𝐵 − 𝑦 𝐴 ) ( 𝑥 − 𝑥 𝐴 ) E A B ( x , y ) = ( x B − x A ) ( y − y A ) − ( y B − y A ) ( x − x A )
那么 𝑃 = ( 𝑥 , 𝑦 ) P = ( x , y ) 要在三角形里,需要
𝐸 𝐴 𝐵 ≥ 0 , 𝐸 𝐵 𝐶 ≥ 0 , 𝐸 𝐶 𝐴 ≥ 0 . E A B ≥ 0 , E B C ≥ 0 , E C A ≥ 0.
但判断一个点显然是非常费力的。对于一个区块 [ 𝑥 𝑙 , 𝑥 𝑟 ] × [ 𝑦 𝑙 , 𝑦 𝑟 ] [ x l , x r ] × [ y l , y r ] ,我们可以将其分成 early-in,early-out 和 else 三种。我们发现 𝐸 E 是线性函数,那么对于任意一个区块,很容易 O ( 1 ) O ( 1 ) 判别这三者。
这样我们就可以做分治了。
三角形区块粗筛:early-in / early-out / else 16 × 16 像素 · 4 × 4 区块
16 乘 16 像素网格上逆时针三角形 ABC 的 4 乘 4 区块覆盖分类(early-in、else 与 early-out) 16 乘 16 像素网格被划分为 16 个 4 乘 4 像素区块,按与逆时针三角形 ABC 的位置关系分别着色为 early-in(绿色)、else(红色)与 early-out(空白)。 4 × 4 区块粗筛 early-in else early-out A B C 0 0 4 4 8 8 12 12 16 16 x y 局部放大:区块 (2, 3) 的采样包围盒与 else 判定 放大单个 4 乘 4 像素区块,显示四角测试采样框 [x_l, x_r] 乘 [y_l, y_r] 与 16 个像素中心的覆盖状态。 区块 (2, 3) · else 采样框 [xₗ, xᵣ]×[yₗ, yᵣ] 命中像素 12 13 14 15 16 y 8 9 10 11 12 x 区块 (2, 3) · else(8 / 16 命中) 采样框 [8.5, 11.5] × [12.5, 15.5] · 仅 1 / 4 角在内,需细分
将 16 × 16 像素划分为 4 × 4 区块后,线性边函数 𝐸 𝐴 𝐵 , 𝐸 𝐵 𝐶 , 𝐸 𝐶 𝐴 E A B , E B C , E C A 在采样框 [ 𝑥 𝑙 , 𝑥 𝑟 ] × [ 𝑦 𝑙 , 𝑦 𝑟 ] [ x l , x r ] × [ y l , y r ] 上的极值必在四角取到:三边最小值均 ≥ 0 ≥ 0 时为 early-in (整块命中);某边最大值 < 0 < 0 时为 early-out (整块剔除);其余为 else ,需继续细分。点击左图任意区块可切换查看。
现在我们回到 pixel 和很多个三角形。首先我们需要知道怎么才算三角形覆盖一个 pixel。我们看的是三角形是否覆盖了这个 pixel 最中间的点,也就是 ( 𝑥 + 1 2 , 𝑦 + 1 2 ) ( x + 1 2 , y + 1 2 ) 。
不过对于每个 pixel,一个简单的想法是,假设一个红色三角形覆盖了某个 pixel 的 1 0 % 10 % ,这个区块就应该是 1 0 % 10 % 红色。
但直接按覆盖面积比例混色在一般 3D rendering 中并不成立:当多个三角形在同一个 pixel 内交叠并存在前后 occlusion 时,要在 pixel 内部做精确的 geometric clipping 来计算各自可见的覆盖面积,计算开销极高且不适合 GPU 并行;而若沿用“逐三角形渲染 + 每 pixel 单一 depth”的 pipeline,则无法表达 sub-pixel 级的 occlusion 关系(例如仅占 1 0 % 10 % 的前景更新 depth 会误剔除其余 9 0 % 90 % 的远景,不更新又会被远景覆盖)。
因此,graphics pipeline 改用离散 subsamples 同时记录 sub-pixel 级的 coverage 与 depth,最后再 resolve(averaging 或 filtering)成最终 pixel 颜色:
SSAA (Supersampling Anti-Aliasing):在每个 pixel 内放置 𝑘 k 个 subsamples(如 2 × 2 2 × 2 ),每个点独立执行 coverage test、depth test 和 shading ,等价于高分辨率渲染后再 downsampling。效果最完整,但 shading 与显存开销都放大 𝑘 k 倍。
MSAA (Multisampling Anti-Aliasing):同样对 𝑘 k 个 subsamples 分别做 coverage test 和 depth test,但对同一个三角形只在 pixel center(或 centroid)执行一次 shading ,并将结果复制到所有通过测试的 subsamples。这样能以接近单 pixel 的 shading 成本消除几何边缘 aliasing(texture 与 shader 内部的高频变化仍需 mipmap 等手段配合)。
4× SSAA(超采样) 三角形覆盖 2×2 子采样网格中的 3 个点。SSAA 对每个被覆盖点分别着色(c1、c2、c3),再将 4 个子样本平均得到像素颜色。 4× SSAA(超采样) bg c₁ c₂ c₃ 子样本缓冲(4 槽) bg c₁ c₂ c₃ resolve 平均 (bg + c₁ + c₂ + c₃) / 4 Coverage & Depth Test:4 次 / 像素 Shading:3 次(每个覆盖点独立计算) 4× MSAA(多重采样) 三角形覆盖 2×2 子采样网格中的 3 个点。MSAA 仅在像素中心计算一次着色值 c,写入 3 个通过覆盖测试的子样本,再平均得到像素颜色。 4× MSAA(多重采样) bg c c c shade 子样本缓冲(4 槽) bg c c c resolve 平均 (bg + 3c) / 4 Coverage & Depth Test:4 次 / 像素 Shading:1 次(像素中心着色,复制到覆盖点) 4× SSAA 与 4× MSAA 对比(3/4 子采样点被覆盖):两者都以子采样点粒度执行覆盖测试与深度测试,区别在于 SSAA 对每个被覆盖子点分别着色,而 MSAA 每个三角形仅在像素中心着色一次并广播到通过测试的子点。
Transparency & Texturing
Barycentric Coordinates : ( 𝜙 𝑖 , 𝜙 𝑗 , 𝜙 𝑘 ) ( ϕ i , ϕ j , ϕ k ) represent weighted average, 𝜙 𝑖 + 𝜙 𝑗 + 𝜙 𝑘 = 1 ϕ i + ϕ j + ϕ k = 1 .
这个过程可以可视化在三角形中:
𝜙 𝑖 ( 𝑥 ) = a r e a ( 𝑥 , 𝑥 𝑗 , 𝑥 𝑘 ) a r e a ( 𝑥 𝑖 , 𝑥 𝑗 , 𝑥 𝑘 ) = 𝑑 𝑖 ( 𝑥 ) ℎ 𝑖 ϕ i ( x ) = area ( x , x j , x k ) area ( x i , x j , x k ) = d i ( x ) h i
面积比:对边子三角形占比
面积比视角:对边子三角形占比 内部点 x 与三个顶点 x_i、x_j、x_k 相连,将三角形划分为三个子三角形。顶点 x_i 对应的权重 phi_i = 0.35 等于其对边子三角形 (x, x_j, x_k) 与总三角形的面积比;同理 phi_j = 0.20,phi_k = 0.45,三者之和为 1。 𝜙 𝑖 = 0 . 3 5 ϕ i = 0.35 𝜙 𝑗 = 0 . 2 0 ϕ j = 0.20 𝜙 𝑘 = 0 . 4 5 ϕ k = 0.45 𝑥 𝑖 x i 𝑥 𝑗 x j 𝑥 𝑘 x k 𝑥 x 𝜙 𝑖 = a r e a ( 𝑥 , 𝑥 𝑗 , 𝑥 𝑘 ) / a r e a ( 𝑥 𝑖 , 𝑥 𝑗 , 𝑥 𝑘 ) = 0 . 3 5 ϕ i = area ( x , x j , x k ) / area ( x i , x j , x k ) = 0.35
𝜙 𝑖 + 𝜙 𝑗 + 𝜙 𝑘 = 0 . 3 5 + 0 . 2 0 + 0 . 4 5 = 1 ϕ i + ϕ j + ϕ k = 0.35 + 0.20 + 0.45 = 1
高度比:同底化为垂距比
高度比视角:同底化为垂距比 高亮共享底边 x_j x_k 以及子三角形 (x, x_j, x_k)。从顶点 x_i 到底边的高为 h_i,从点 x 到底边的垂距为 d_i(x),过 x 平行于底边的虚线上所有点具有相同的 phi_i = d_i(x) / h_i。 ℎ 𝑖 h i 𝑑 𝑖 ( 𝑥 ) d i ( x ) 𝜙 𝑖 ϕ i 等值线𝑥 𝑖 x i 𝑥 𝑗 x j 𝑥 𝑘 x k 𝑥 x 共享底边 𝑥 𝑗 𝑥 𝑘 x j x k ,面积比约去底边长 = 𝑑 𝑖 ( 𝑥 ) / ℎ 𝑖 = d i ( x ) / h i
边上 𝜙 𝑖 = 0 ϕ i = 0 ,顶点 𝑥 𝑖 x i 处 𝜙 𝑖 = 1 ϕ i = 1 ,沿高线性变化
Barycentric Coordinates 的两种等价几何解释(以 ( 𝜙 𝑖 , 𝜙 𝑗 , 𝜙 𝑘 ) = ( 0 . 3 5 , 0 . 2 0 , 0 . 4 5 ) ( ϕ i , ϕ j , ϕ k ) = ( 0.35 , 0.20 , 0.45 ) 为例)。左图:内部点 𝑥 x 将三角形分成三个子三角形,每个顶点的权重等于其对边子三角形的面积占比;右图:子三角形 ( 𝑥 , 𝑥 𝑗 , 𝑥 𝑘 ) ( x , x j , x k ) 与总三角形共享底边 𝑥 𝑗 𝑥 𝑘 x j x k ,因此面积比直接化简为垂距比 𝑑 𝑖 ( 𝑥 ) / ℎ 𝑖 d i ( x ) / h i ,且平行于底边的直线构成 𝜙 𝑖 ϕ i 的线性等值线。
由于 barycentric coordinates 有一些优雅的性质,我们用它来表示 pixel,在计算的时候,考虑我们之前 rasterization 已经算过 edge function 𝐸 𝐴 𝐵 ( 𝑥 , 𝑦 ) E A B ( x , y ) ,我们只需要除以总面积 𝐸 𝑡 𝑜 𝑡 𝑎 𝑙 E t o t a l 就可以得到该 pixel 的 barycentric coordinate。
现在我们考虑一个三角形投影之后的结果。假设三个顶点的 texture 是 𝑎 ( 𝑣 1 ) , 𝑎 ( 𝑣 2 ) , 𝑎 ( 𝑣 3 ) a ( v 1 ) , a ( v 2 ) , a ( v 3 ) 。
Flat Shading : 随便取一个点作为整个三角形的 texture
𝑎 ( 𝜙 𝑥 , 𝜙 𝑦 ) = 𝑎 ( 𝑣 1 ) a ( ϕ x , ϕ y ) = a ( v 1 )
Smooth Shading : 做简单的线性插值,开销比较小但是没有立体感
𝑎 ( 𝜙 𝑥 , 𝜙 𝑦 ) = 𝑎 ( 𝑣 1 ) ⋅ 𝜙 𝑥 + 𝑎 ( 𝑣 2 ) ⋅ 𝜙 𝑦 + 𝑎 ( 𝑣 3 ) ⋅ ( 1 − 𝜙 𝑥 − 𝜙 𝑦 ) a ( ϕ x , ϕ y ) = a ( v 1 ) ⋅ ϕ x + a ( v 2 ) ⋅ ϕ y + a ( v 3 ) ⋅ ( 1 − ϕ x − ϕ y )
Perspective Correct Shading : 算出真实的 𝑧 z ,然后根据这个 𝑧 z 做插值:
1 𝑧 ( 𝜙 𝑥 , 𝜙 𝑦 ) = 1 𝑧 1 ⋅ 𝜙 𝑥 + 1 𝑧 2 ⋅ 𝜙 𝑦 + 1 𝑧 3 ⋅ ( 1 − 𝜙 𝑥 − 𝜙 𝑦 ) , 𝑎 ( 𝜙 𝑥 , 𝜙 𝑦 ) = 𝑧 ( 𝜙 𝑥 , 𝜙 𝑦 ) [ 𝑎 ( 𝑣 1 ) 𝑧 1 ⋅ 𝜙 𝑥 + 𝑎 ( 𝑣 2 ) 𝑧 2 ⋅ 𝜙 𝑦 + 𝑎 ( 𝑣 3 ) 𝑧 3 ⋅ ( 1 − 𝜙 𝑥 − 𝜙 𝑦 ) ] = 𝑎 ( 𝑣 1 ) 𝑧 1 ⋅ 𝜙 𝑥 + 𝑎 ( 𝑣 2 ) 𝑧 2 ⋅ 𝜙 𝑦 + 𝑎 ( 𝑣 3 ) 𝑧 3 ⋅ ( 1 − 𝜙 𝑥 − 𝜙 𝑦 ) 1 𝑧 1 ⋅ 𝜙 𝑥 + 1 𝑧 2 ⋅ 𝜙 𝑦 + 1 𝑧 3 ⋅ ( 1 − 𝜙 𝑥 − 𝜙 𝑦 ) . 1 z ( ϕ x , ϕ y ) = 1 z 1 ⋅ ϕ x + 1 z 2 ⋅ ϕ y + 1 z 3 ⋅ ( 1 − ϕ x − ϕ y ) , a ( ϕ x , ϕ y ) = z ( ϕ x , ϕ y ) [ a ( v 1 ) z 1 ⋅ ϕ x + a ( v 2 ) z 2 ⋅ ϕ y + a ( v 3 ) z 3 ⋅ ( 1 − ϕ x − ϕ y ) ] = a ( v 1 ) z 1 ⋅ ϕ x + a ( v 2 ) z 2 ⋅ ϕ y + a ( v 3 ) z 3 ⋅ ( 1 − ϕ x − ϕ y ) 1 z 1 ⋅ ϕ x + 1 z 2 ⋅ ϕ y + 1 z 3 ⋅ ( 1 − ϕ x − ϕ y ) .
为什么可以这样算?在 2D 屏幕上,只要一个量是屏幕坐标 ( 𝑥 𝑠 , 𝑦 𝑠 ) ( x s , y s ) 的线性函数,就可以直接用屏幕空间的 barycentric coordinates 精确插值。由于 3D 三角形落在某个平面 𝐴 𝑥 + 𝐵 𝑦 + 𝐶 𝑧 = 𝐷 A x + B y + C z = D 上,两侧同除以 𝑧 z 并代入 pinhole camera 投影关系 𝑥 𝑠 = 𝑥 𝑧 , 𝑦 𝑠 = 𝑦 𝑧 x s = x z , y s = y z ,可得
𝐴 𝑥 𝑠 + 𝐵 𝑦 𝑠 + 𝐶 = 𝐷 𝑧 ⟹ 1 𝑧 = 𝐴 𝐷 𝑥 𝑠 + 𝐵 𝐷 𝑦 𝑠 + 𝐶 𝐷 , A x s + B y s + C = D z ⟹ 1 z = A D x s + B D y s + C D ,
因此 1 𝑧 1 z 是 ( 𝑥 𝑠 , 𝑦 𝑠 ) ( x s , y s ) 的线性函数。同理,在 3D 三角形上呈线性的属性 𝑎 = 𝛼 𝑥 + 𝛽 𝑦 + 𝛾 𝑧 + 𝛿 a = α x + β y + γ z + δ 除以 𝑧 z 后变为 𝑎 𝑧 = 𝛼 𝑥 𝑠 + 𝛽 𝑦 𝑠 + 𝛾 + 𝛿 ⋅ 1 𝑧 a z = α x s + β y s + γ + δ ⋅ 1 z ,同样是 ( 𝑥 𝑠 , 𝑦 𝑠 ) ( x s , y s ) 的线性函数。于是我们可以直接在屏幕空间分别线性插值 1 𝑧 1 z 与 𝑎 𝑧 a z ,最后乘回 𝑧 ( 𝜙 𝑥 , 𝜙 𝑦 ) z ( ϕ x , ϕ y ) (即两者相除)即可还原真实的 𝑎 ( 𝜙 𝑥 , 𝜙 𝑦 ) a ( ϕ x , ϕ y ) 。
Flat Shading
Flat Shading 渲染结果 Flat Shading 渲染的倾斜棋盘平面:两个三角形各自只采样单个顶点颜色,整块纹理退化为两块纯色三角 𝑎 ( 𝜙 𝑥 , 𝜙 𝑦 ) = 𝑎 ( 𝑣 1 ) a ( ϕ x , ϕ y ) = a ( v 1 )
每个三角形仅采样单个顶点,纹理细节完全丢失。
Smooth Shading
Smooth Shading 渲染结果 Smooth Shading 渲染的倾斜棋盘平面:在屏幕空间直接线性插值 UV,棋盘格与圆环在两个三角形的共享对角线处发生明显折弯畸变 𝑎 = ∑ 𝑖 𝑎 ( 𝑣 𝑖 ) 𝜙 𝑖 a = ∑ i a ( v i ) ϕ i
在 2D 屏幕空间线性插值 UV,沿三角对角线出现明显折弯。
Perspective Correct
Perspective Correct 渲染结果 Perspective Correct Shading 渲染的倾斜棋盘平面:先插值 1/z 与 a/z 再乘回真实深度 z,网格直线与圆环跨对角线连续且符合近大远小透视规律 𝑎 = 𝑧 ∑ 𝑖 𝑎 ( 𝑣 𝑖 ) 𝑧 𝑖 𝜙 𝑖 a = z ∑ i a ( v i ) z i ϕ i
插值 1/z 与 a/z 后再乘回真实深度,直线与透视比例严格保持。
同一块由两个三角形拼成的棋盘纹理平面(带中心圆环)在三种插值模型下的直接渲染对比:Flat Shading 退化为两块纯色三角;Smooth Shading 因忽略深度变化,棋盘直线与圆环沿共享对角线严重折弯;Perspective Correct Shading 正确还原近大远小的透视关系。拖动倾斜角到 0°(正对相机、各顶点等深)时,后两者完全一致。
A single pixel of a texture is a texel .
为了将二维 texture 贴到三维 surface 上,美术或建模工具会把 surface unwrap 到二维平面,为网格上的每个顶点分配对应的 ( 𝑢 , 𝑣 ) ( u , v ) 坐标,建立 3D 表面到 2D texture 的映射。这一过程称为 UV mapping 。
3D Surface(网格表面)
3D Surface 上的 UV 坐标分布 三维环面由 20x10 个网格单元剖分为 400 个三角形。颜色由 (u, v) 坐标双线性混合得到,并叠加柔和的漫反射光照以呈现立体形态;虚线标出展开时沿 u=0 与 v=0 切开的接缝,正面右上方高亮一个样本三角形 v1、v2、v3。 𝑣 1 v 1 𝑣 2 v 2 𝑣 3 v 3 网格表面按各点对应的 ( 𝑢 , 𝑣 ) ( u , v ) 着色;外圈与内圈三角形在 3D 空间尺寸不同,但共享同一套 UV 参数化。
2D Texture Space(UV 平面)
2D Texture Space 中的展开网格 三维环面沿 u=0 与 v=0 接缝切开并展开到二维单位正方形 [0, 1] x [0, 1]。横轴 u 从 0 到 1,纵轴 v 从 0 到 1,网格上的颜色与左侧三维表面一一对应,样本三角形 v1、v2、v3 对应其各自的二维顶点坐标。 𝑢 u 𝑣 v 0 0 1 1 1 1 𝑣 1 v 1 𝑣 2 v 2 𝑣 3 v 3 网格沿两条接缝展开为 [ 0 , 1 ] 2 [ 0 , 1 ] 2 上的二维平面;每个顶点都记录着唯一的纹理坐标 ( 𝑢 , 𝑣 ) ( u , v ) 。
高亮三角形顶点映射:𝑣 1 ↦ ( 0 . 2 5 , 0 . 2 0 ) , 𝑣 2 ↦ ( 0 . 3 0 , 0 . 2 0 ) , 𝑣 3 ↦ ( 0 . 3 0 , 0 . 3 0 ) v 1 ↦ ( 0.25 , 0.20 ) , v 2 ↦ ( 0.30 , 0.20 ) , v 3 ↦ ( 0.30 , 0.30 ) 接缝 𝑢 = 0 / 1 u = 0 / 1 接缝 𝑣 = 0 / 1 v = 0 / 1
UV mapping 示例:左图为三维环面网格,右图为沿两条虚线接缝(𝑢 = 0 u = 0 与 𝑣 = 0 v = 0 )展开到二维纹理空间 [ 0 , 1 ] 2 [ 0 , 1 ] 2 后的平面网格。相同颜色表示同一组 ( 𝑢 , 𝑣 ) ( u , v ) 坐标;每个三维顶点(如高亮三角形的 𝑣 1 , 𝑣 2 , 𝑣 3 v 1 , v 2 , v 3 )都关联到纹理平面上的对应位置,渲染时再借助重心坐标插值求得三角形内部各像素的纹理坐标。