Reder任务做的事情

• 用计算模拟照相机拍照（从光源射出光线到物体，在相机平面上成像）
• Render的输入是“某种对3维场景的表征”（比如Nerf就是一种implicit的representation）

DLSS

DLSS 2.0 - 基于深度学习的实时渲染图像重建 - 文刀秋二的文章 - 知乎 https://zhuanlan.zhihu.com/p/123642175

• DLSS (Deep Learning Super Sampling)
  • 一句话：渲染更低分辨率，再Upsampling
• Reconstruction任务（从低分辨率插到高分辨率）

  • 基于多帧的

  • 融合了抗锯齿（替代方法如TAA： Temporal AntiAliasing）与超采样

    • aliasing： 混叠； 锯齿是由于高分辨率信号以低分辨率表征，而导致了图像混叠； 需要去超采，柔化
      • Geometric
      • Shading
    • 深入浅出Temporal Antialising - chopper的文章 - 知乎 https://zhuanlan.zhihu.com/p/142922246

    

Ray Tracing

• RTX是多了Ray Tracing和DLSS

光线追踪基本介绍（1）：光线追踪基础知识 - 知乎 https://www.zhihu.com/zvideo/1271521162200428544

• Ray (Origin - x,y,z + Direction)

  • Shooting in such direction看什么时候碰到物体
  • （将ray射回光源获得阴影？Shadow Ray？能回到light，说明没有被遮挡，就无阴影？）
  • 按照反射定律，继续射光线，最后靠所有光线的情况来确定当前pixel的颜色

• Cook Stochastic Ray Tracing:

  • 应对glassy surface，shooting many rays to get soft surface

• 光栅化（Rasterization）是RT的一个主流平等替代。更快，而RT一般用来锦上添花

  • Raster是德语中的屏幕，Rasterize是把东西投到屏幕上的意思

  • 从obj → Pixel, 而Ray Tracing是相反的，pixel → obj

    • 几何域到图像域

  • 把一个复杂scene按照物体划分若干个子任务，每个物体用三角面组成；将三角面投影到Screen平面上（由相机位姿来投影），并把他拆解成像素（最后这个过程叫光栅化）

    • 用三个点上的color去做interpolation
    • 可以高度并行化

    光栅化过程 - 知乎 https://www.zhihu.com/zvideo/1347581841478709248

NerF

• 从任务角度来说， 不是很严格的render任务（从3D模型到2D Image）； 而是Novel View Synthesis（给一些view，生成实际物体新的view）
• 核心在于 Neural Implicit Scene Represntation
  • 并没有显示建模3D场景，而是将其隐含在MLP中