Enzo_Mi的个人空间-Enzo_Mi个人主页-哔哩哔哩视频
1. 双线性插值
双线性插值, 将目标尺寸图像的每个像素点映射回原图, 各像素点的值由它周围4个原图像素点进行线性插值获得.
1.1. 角对齐和边对齐区别
- 角对齐使用像素的中心点进行对齐(分割左右距离最远的中心点).
- 边对齐使用像素的边缘进行对齐(分割左右距离最远像素边缘).
下图(红点是原像素中心点, $(0,0)$ 点是左上角第一个红点; 蓝点是目标对齐点):

import torch
image_array = [[1,2,3],[4,5,6],[7,8,9]]
image = torch.as_tensor(image_array, dtype=torch.float32).unsqueeze(0).unsqueeze(0)
# 角对齐
result_c = torch.nn.functional.interpolate(image, size=(5,5), mode='bilinear', align_corners=True)
print(result_c)
# 边对齐
result_e = torch.nn.functional.interpolate(image, size=(5,5), mode='bilinear', align_corners=False)
print(result_e)
####################
tensor([[[[1.0000, 1.5000, 2.0000, 2.5000, 3.0000],
[2.5000, 3.0000, 3.5000, 4.0000, 4.5000],
[4.0000, 4.5000, 5.0000, 5.5000, 6.0000],
[5.5000, 6.0000, 6.5000, 7.0000, 7.5000],
[7.0000, 7.5000, 8.0000, 8.5000, 9.0000]]]])
tensor([[[[1.0000, 1.4000, 2.0000, 2.6000, 3.0000],
[2.2000, 2.6000, 3.2000, 3.8000, 4.2000],
[4.0000, 4.4000, 5.0000, 5.6000, 6.0000],
[5.8000, 6.2000, 6.8000, 7.4000, 7.8000],
[7.0000, 7.4000, 8.0000, 8.6000, 9.0000]]]])
-
代码结果可以看出, 角对齐插值后, 像素值横纵方向上是线性的; 边对齐插值后, 边缘一圈在横纵方向上的像素值是非线性.
所以, 对于目标检测这种少有物体出现在图像边缘的情况, 用两种对齐都行; 而对于图像分割, 边角的像素也会加入mIoU计算(也就是影响精度), 所以用角对齐更好.
-
另外, OpenCV和PIL插值使用的都是边对齐. MXNet, PyTorch, TensorFlow两种方法都可选.
1.2. 双线性插值计算过程
- 将目标图像大小缩放到原图像的尺寸, 这时候目标图像上的每一个像素都变成了在原图上的亚像 素点.
- 对这个亚像素点进行插值获得像素值.
- 进行两次横向的线性插值.
- 进行一次纵向的线性插值.

2. 双三次插值
双三次插值, 将目标尺寸图像的每个像素点映射回原图, 各像素点的值由它周围16个原图像素点(以目标像素点为中心)进行线性插值获得.

2.1. 权重公式
$$ W(x)= \begin{cases}(a+2)|x|^3-(a+3)|x|^2+1 & \text { for }|x| \leq 1 \\ a|x|^3-5 a|x|^2+8 a|x|-4 a & \text { for } 1 \leq|x| \leq 2 \\ 0 \quad \text { others } & \end{cases} $$- $x$: 目标像素点与某个邻近像素点的距离
- $a$: 平滑度, 默认取-0.5 (PyTorch默认使用-0.75)
2.2. 计算过程
将目标尺寸图像的每个像素点映射回原图, 各像素点的值由它周围16个原图像素点进行线性插值获得.
假设某个像素点为$(x_n, y_n)$, 分别计算对应着16个原图像素点的 $x$ 轴方向和 $y$ 轴方向的距离, 带入权重公式.

- 这样的话, 可以分开计算x轴和y轴方向的权重. 因为x轴方向权重每一列都是一样的; y轴方向权重每一行都是一样的(距离相同).

- 求得结果之后, 求和就可以获得结果
实际操作的时候, 全图基础上需要在周围加两圈 padding 用来解决边缘像素的问题, PyTroch 可以使用replicate参数, 复制边缘像素来填充边缘.
3. 最邻近插值
3.1. 缩放过程
- 将目标尺寸的像素点映射到原图
- 目标像素点距离原图哪个像素点最近, 就使用哪个像素点的值.
具体细节
- 遍历输出像素点, 将这些像素点缩放之后, 四舍五入到整数值, 这个整数的坐标对应原图的像素值就是目标像素值.
- 如果遍历的时候发现像素点越界, 就使用边缘像素的像素值
- 缺点
- 有锯齿, 效果不如双线性插值
- 优点
-
对于分割任务. 如果要对标注图像进行缩放的时候, 用最邻近插值可以防止出现额外的像素值

-