Variable Bitrate Neural Fields
Motivation
- 压缩3D信息用于更高效的数据传输,和直播
- 传统Nerf 的问题:因为需要很大的网络对场景进行编码,很多光线,每个点都要过这个大网络,因此渲染慢。
- feature grids: 每个顶点包含一个 feature vector. 任意一个点用插值的到特征。网络只需要对所有顶点进行编码, 网络减小,速度增加。但是储存的feature grids 占用的空间却比之前一个网络的多。
- ngp: 每个顶点的坐标通过 hash 映射到一个 codebook 的 index 上。但是需要多层,每层的codebook也很大,最终的存储还是很大。
VQ feature grids with learning
- 直接在顶点上储存 index 并学习
- 为了解决不可微的问题,使用 softmax 的技巧。 储存一系列浮点数,取max。