torch.nn.functional.interpolate函数

• torch.nn.functional.interpolate函数
  • 参考文档
  • interpolate
    • 定义
    • 说明
    • 参数
      • 注意
      • 警告
    • 图解align_corners参数
      • 原图
      • 上采样
      • 说明
    • 插值方式的区别
    • 已知bug

参考文档

1. pytorch官方文档
2. 立夏之光的知乎文章：详细介绍了align_corners的涵义

interpolate

定义

torch.nn.functional.interpolate(input, size=None, scale_factor=None, mode='nearest', align_corners=None)

说明

• 根据给定的size或scale_factor参数对输入图像进行上/下采样操作。
• 采样方式根据mode参数指定的算法。
• 目前支持的数据格式有：
  • temporal：向量数据。期待3D张量的输入，格式为mini-batch * channels * width。
  • spatial：空间数据，例如图片。期待4D张量的输入，格式为mini-batch * channels * height * width。
  • volumetric：体积数据，例如点云数据。期待5D张量的输入，格式为mini-batch * channels * depth * height * width。
• 可用的mode为：
  • 3D数据：nearest，linear。
  • 4D数据：bilinear，bicubic。
  • 5D数据：trilinear。
  • area：对于不同情况处理的方式有所不同，参考Aaron Dong的知乎文章，介绍的非常详细！

参数

• input(Tensor)：输入张量。
• size(int或Tuple[int, int]或Tuple[int, int, int])：表示输出的尺度。
• scale_factor(float或Tuple[float])：缩小或放大的倍数。和size是互斥参数，只能指定一个。
• mode(str)：可使用nearest linear bilinear bicubic trilinear和area。默认是nearest。
• align_corners(bool, 可选参数)：几何上，我们认为输入和输出的每个像素是正方形而不是点。如果设置为True，输入和输出的张量在角像素中心对齐，这样可以保留边界像素的值。如果设置为False，输入和输出张量由它们的角点的角像素值对齐(具体说明见下面图片)，边界部分使用边界值的插值填充，边界的像素值可能会丢失。受影响的mode有linear bilinear bicubic和trilinear。默认为False。

注意

如果mode使用bicubic时，可能生成的图像有大于255或小于0的值，可以使用tensor.clamp(min=0, max=255)做截断。

警告

0.3.1版本之前默认值是True，之后默认值为False，使用别人的源码时要注意一下这个问题。

图解align_corners参数

参考 立夏之光的知乎文章。

原图

上采样

左边为False，右边为True。

说明

两种方式在中间像素的插值上区别不大，主要差别还是边界像素。一般的任务中边界的值不那么重要，但是会影响语义分割的mIoU指标，使用True能更好的保留边界。

插值方式的区别

见飞信天下的csdn blog。

已知bug

具体改动见我的pull request。

CPU模式下，如果scale_factor为1时，使用bicubic插值方式，本来预计的处理结果是把原图复制一下，不做任何处理。但是处理的时候忘了乘mini-batch了，导致复制的时候只复制了n==1的图，其它的图均为初始值0。