如何在 PyTorch 中实现 TensorFlow 里的 'SAME' padding 和 'VALID' padding？

[daa233]

在 TensorFlow 中，进行卷积和池化等操作时，可以选择 padding 的方式，一般有 'SAME' 和 'VALID' 两种方式。根据 StackOverflow 上的这个回答，在 TensorFlow 中，这两种方式的区别如下。

对于 'SAME' padding，其输出的高度和宽度计算方式为：

out_height = ceil(float(in_height) / float(strides[1]))
out_width  = ceil(float(in_width) / float(strides[2]))

对于 'VALID' padding，其输出的高度和宽度计算方式为：

out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
out_width  = ceil(float(in_width - filter_width + 1) / float(strides[2]))

但是在 PyTorch 中没有类似 'SAME' 和 'VALID' padding 这种接口，需要自行指定 padding 的大小。

[daa233]

上面没有考虑 dilation 的情况。

PyTorch 中默认的就是 'VALID' padding。如果想实现 'SAME' padding，可以参考 [Feature Request] Implement "same" padding for convolution operations?。

下面是我写的一种 'SAME' padding 的实现，可以在进入卷积之前先通过这个层，然后将卷积的 padding 参数设置为 0：

def same_padding(images, ksizes, strides, rates):
    assert len(images.size()) == 4
    batch_size, channel, rows, cols = images.size()
    out_rows = (rows + strides[0] - 1) // strides[0]
    out_cols = (cols + strides[1] - 1) // strides[1]
    effective_k_row = (ksizes[0] - 1) * rates[0] + 1
    effective_k_col = (ksizes[1] - 1) * rates[1] + 1
    padding_rows = max(0, (out_rows-1)*strides[0]+effective_k_row-rows)
    padding_cols = max(0, (out_cols-1)*strides[1]+effective_k_col-cols)
    # Pad the input
    padding_top = int(padding_rows / 2.)
    padding_left = int(padding_cols / 2.)
    padding_bottom = padding_rows - padding_top
    padding_right = padding_cols - padding_left
    paddings = (padding_left, padding_right, padding_top, padding_bottom)
    images = torch.nn.ZeroPad2d(paddings)(images)
    return images

按照上面那个 PyTorch Issue 的说法，这样可能会比较低效，因为卷积操作中的 padding 在实现的时候是可以优化的，这样在外部的 padding 会占用显存多一点。

实现这个特性的目的可能有两个：

• 为了实现和 TensorFlow 的一样的效果
• 节省计算 padding 的时间

目前这个特性被加入了 PyTorch 1.1 的 Milestone，还没有完成。