Variable Bitrate Neural Fields

Motivation

  1. 压缩3D信息用于更高效的数据传输,和直播
  2. 传统Nerf 的问题:因为需要很大的网络对场景进行编码,很多光线,每个点都要过这个大网络,因此渲染慢。
  3. feature grids: 每个顶点包含一个 feature vector. 任意一个点用插值的到特征。网络只需要对所有顶点进行编码, 网络减小,速度增加。但是储存的feature grids 占用的空间却比之前一个网络的多。
  4. ngp: 每个顶点的坐标通过 hash 映射到一个 codebook 的 index 上。但是需要多层,每层的codebook也很大,最终的存储还是很大。

VQ feature grids with learning

  1. 直接在顶点上储存 index 并学习
  2. 为了解决不可微的问题,使用 softmax 的技巧。 储存一系列浮点数,取max。Vector quantized feaature grids with learning