ECCV 2016 · 论文精读

Perceptual Losses
for Real-Time Style Transfer
and Super-Resolution

Justin Johnson · Alexandre Alahi · Li Fei-Fei
Stanford University
背景 · 两条路线 方法 · Transform + Loss Net 实验 · 风格迁移 + SR 总结 · 思想遗产
CORE NUMBER · STYLE TRANSFER
1060×
比 Gatys et al. 优化方法三个数量级加速 · 512² @ 20 FPS
CORE INSIGHT · SUPER-RESOLUTION
感知损失替代像素损失
PSNR 不再领先，但边缘 / 细节肉眼显著更清晰 · MTurk 96% 偏好
PARADIGM · 影响延续至今
GAN 损失 · LPIPS · 文生图扩散 —
"预训练网络当尺子"的范式起点
PART 01 / 04

研究背景

图像变换任务的两条路线 · 一边快一边美 · 谁也吃不掉对方
03 PART 1 · 背景

图像变换任务 · 输入图 → 输出图的统一框架

许多经典视觉问题都可以抽象成同一个范式 — 给定一张输入图，输出另一张图。本文把这个范式叫做 image transformation task，并指出：尽管任务表面差异巨大，背后训练方法却被同一个问题困住。
低层图像处理
  • 去噪 · noisy → clean
  • 超分 · LR → HR
  • 上色 · gray → color
特点：输入是退化版本身，输出几乎共享结构
高层视觉理解
  • 语义分割 · color → label map
  • 深度估计 · color → depth
  • 法线预测 · color → normal
特点：输入是原图，输出编码语义 / 几何信息
本文重点 ★
  • 风格迁移 · content + style → 新图
  • ×4 / ×8 超分 · LR → HR（大放大比）
共同点：都是病态(ill-posed)问题 — 一个输入对应无穷多合理输出，必须靠语义先验消歧
为什么这两个任务尤其难
风格迁移没有"标准答案"；×4/×8 超分时大量细节在 LR 中压根不存在。两者都需要网络"理解图像内容"，而不只是做局部像素映射。
04 PART 1 · 背景

两条路线的对峙 · 前馈"快"vs 优化"美"

2016 年以前，处理图像变换任务的人分成两个阵营。两边都有人做得很好，但各自有一个致命短板。Perceptual Losses 这篇文章的工作，本质上是把这两条路线合并。
ROUTE A · 主流派
前馈 CNN + 像素损失
x
→
CNN · f_W
→
ŷ
vs y · L2
代表工作：SRCNN[Dong'14] 超分、Long[FCN]分割、Eigen 深度估计。
训练：per-pixel L2 / 分类损失。
推理：一次前向，毫秒级。
✔ 优点
推理极快 · 端到端可训练 · 易部署
✘ 致命短板
per-pixel L2 无法刻画感知差异 — 在病态任务上输出模糊、平均化
ROUTE B · 优化派
迭代优化 + 感知损失
noise ŷ
→
VGG 提特征
→
L-BFGS×500
代表工作：Gatys[Style'15] 风格迁移、Mahendran[Inv'15] 特征反演、Simonyan 特征可视化。
训练：无网络可训 — 每张图都跑一次优化问题。
推理：分钟级。
✔ 优点
感知质量高 · 边缘 / 纹理 / 语义都对
✘ 致命短板
慢得离谱 · 每出一张 512² 图要 30s–1min · 实时 / 视频应用不可能
合并思路（一句话）：用 Route A 的前馈网络架构（保留速度），但用 Route B 的感知损失来训练（保留质量）— 这就是本文方法的全部主线。
05 PART 1 · 背景

per-pixel loss 的硬伤 · 一像素偏移就翻车

论文用一个极端但精准的反例戳穿 per-pixel loss：两张视觉上几乎一样的图，仅仅整体平移一个像素，L2 损失就会爆炸。这说明 L2 衡量的根本不是"人看起来像不像"。
反例 · 1 像素位移
Image A
vs
Image B · shifted +1px
人眼判断
几乎一样
per-pixel L2
巨大 ≠ 0
因为 L2 是逐像素对齐 — 整张图哪怕只错位一个像素，每个像素对都"对错了人"。这一个反例就足以证明：L2 衡量的是逐点对齐程度，不是感知相似度。
① 平均化偏好
病态任务有多解时，L2 倾向输出所有解的均值 — 视觉上就是模糊。SRCNN 的 ×4 输出"软糊"就是这个原因。
② 与 PSNR 等价
PSNR ≡ 单调函数(per-pixel L2)。用 L2 训练 = 优化 PSNR。但PSNR 与人眼主观质量相关性很差（论文引 [60-62]）。
③ 加噪声假设
L2 损失隐含"残差是加性高斯白噪声"的统计假设 — 这在风格迁移、SR 等任务中完全不成立。
④ 解决方向
需要换一把"懂语义"的尺子 — 它能容忍局部位移、知道"这是什么"。预训练 CNN 的中层特征正好满足。
06 PART 1 · 背景

本文的破局点 · 用感知损失训练前馈网络

本文的核心创新可以用一句话描述：用一个固定的预训练 VGG 网络当"损失函数"，去训练一个全新的、可被端到端优化的前馈变换网络。训练时慢一点没关系，推理只要一次前向。
两条轴 · 四个象限
↑ 速度快
↓ 速度慢
← 感知差
感知好 →
ROUTE A · 现状
前馈 + 像素损失
快 · 但模糊（SRCNN, FCN）
★ OURS · 想要到这里
前馈 + 感知损失
既快又好
空 · 没人这么做
优化 + 像素损失
又慢又差，谁都不要
ROUTE B · 现状
优化 + 感知损失
美 · 但慢（Gatys, Mahendran）
作者的洞察：左上和右下早就有人占据，右上的空白看似显然，但没人填 — 因为缺少一个关键认识：感知损失本质上是一个可微分的网络，完全可以接到训练流程里。
三个里程碑式贡献：①把感知损失从优化器搬进前馈训练 · ②风格迁移获得三个数量级加速 · ③在 ×4/×8 超分上证明感知损失比像素损失肉眼更好（即使 PSNR 更差）。
PART 02 / 04

方法

Transform Net + Loss Net · 两张网,一个固定一个学
08 PART 2 · 方法

系统全景 · 一图看懂论文（Fig. 2 重绘）

Fig. 2 · 系统结构（重绘） · 左边的网络要训练 · 右边的网络固定
Input x 输入图 Image Transformation Network · f_W ★ TRAINABLE · 权重 W Output ŷ = f_W(x) Content Target y_c Style Target y_s Loss Network · φ (VGG-16) relu1_2 ★ relu2_2 ★ relu3_3 ★ relu4_3 relu5_3 → φ_j(·) 🔒 FROZEN · ImageNet 预训练 Feature Loss ℓ_feat(ŷ, y_c) Style Loss ℓ_style(ŷ, y_s) TV Reg ℓ_TV(ŷ) ∇W · 梯度只更新 f_W，不动 φ
① 两张网，职责分明
f_W 学着把 x 变成 ŷ；φ (VGG) 只负责"评分"，全程冻结。
② 损失是一个网络
整条损失函数本身就是一段深度 CNN — 可微，所以可以反向传播。
③ 一次训练，永久部署
训练完 f_W 后丢掉 φ，推理只跑前向 — 比 Gatys 优化快 1000×。
09 PART 2 · 方法

Transformation Network · 残差块堆叠 + 下采样–上采样

变换网络 f_W 是一个标准的全卷积深残差网络：先下采样、再多层 residual block、最后上采样。全卷积意味着任意分辨率都能推理。
架构图 · 风格迁移版（输入 3×256×256，输出同尺寸）
3×256² 输入 9×9 conv 32 ch stride 1 3×3 conv 64 ch ↓2 3×3 128 ch ↓2 5 × Residual Block RB1 3×3 128 RB2 RB3 RB4 RB5 每块: conv3×3 + BN + ReLU + conv3×3 + BN, 残差跳连 conv½ 64 ch ↑2 conv½ 32 ch ↑2 9×9 conv 3 ch scaled-tanh 3×256² 输出 ŷ ENCODER · 下采样 BODY · 主干（在低分辨率上做最重的计算） DECODER · 上采样 SR 版本差异 • 不做下采样 (输入已是 LR) • 末端 log₂f 个 fractional-stride conv 放大
① 不要 Pooling · 改用 stride
上下采样都用 fractional / strided conv 代替 pooling，让上下采样函数跟着任务一起被学。
② 中间下采样 · 计算便宜
在小尺寸上塞重网络 — D 倍下采样后参数同代价下感受野翻 D 倍，风格迁移需要大感受野。
③ 残差连接 · 易学恒等
He et al. 的 residual block — 让网络容易学到恒等，因为变换任务的输出大都和输入共享主体结构。
④ 9×9 包头包尾
首尾用 9×9 卷积更好融合 RGB / 输出，中间统一 3×3 — VGG 哲学。
⑤ 末层 scaled-tanh
强制输出在 [0, 255]，避免越界像素让训练发散 — 对比 Gatys 还要"投影裁剪"。
⑥ BN + ReLU
每个非残差 conv 后接 BN + ReLU，加速 / 稳定深网训练。
10 PART 2 · 方法

Loss Network · 借 VGG-16 做"感知尺子"

损失网络 φ 选用在 ImageNet 上预训练的 VGG-16，全程冻结。它的角色不是"做分类"，而是把图像投影到一个"语义友好"的特征空间，让损失发生在这个空间里。
为什么是 VGG-16 而不是其他网络？
  • 已学会"语义抽象" · ImageNet 1000 类训练 ⇒ 中层特征图自带"什么是边缘 / 纹理 / 物体局部"的先验。
  • 分层结构清晰 · 越浅越像素，越深越语义；不同层提供不同粒度的"尺子"。
  • 全 3×3 卷积 + 5 段 pool · 结构规则，便于挑选 relu_j 层。
  • 与 Gatys[11] 一致 · 沿用社区已验证的特征空间，便于公平对比。
关键洞察：损失函数的"好坏"不是发明出来的 — 它从分类任务里"借"。一个能在 ImageNet 上做好分类的网络，它必然学到了"什么样的两张图在感知上像"。
不同层 = 不同粒度的"尺子"
VGG 层 抓什么 用在哪
relu1_2 颜色 / 边缘 style
relu2_2 ★ 细节纹理 SR feat + style
relu3_3 ★ 局部结构 Style 内容损失
relu4_3 物体部件 style
relu5_3 整体语义 (过于抽象, 不用)
★ 论文最终选择：
• 风格迁移 feature loss → relu3_3
• 风格迁移 style loss → relu1_2 / 2_2 / 3_3 / 4_3 之和
• SR feature loss → relu2_2（更低层，保细节）
一个被忽视的细节：VGG 在训练 f_W 时全程冻结 — 梯度只回传到 f_W 的权重 W，不更新 φ。这让"什么算感知相似"这件事变成了固定不变的先验，训练才能稳定。
11 PART 2 · 方法

Feature Reconstruction Loss · 内容损失 · "特征要像"

Feature Reconstruction Loss 不要求像素相等，只要求VGG 第 j 层的特征图相等。它衡量的是"两张图在 VGG 眼里像不像"。
数学定义
$$\ell^{\phi,j}_{feat}(\hat y, y) = \frac{1}{C_j H_j W_j}\,\bigl\lVert \phi_j(\hat y) - \phi_j(y) \bigr\rVert_2^2$$
• $\phi_j(\cdot)$：VGG 第 $j$ 层特征图（shape $C_j \times H_j \times W_j$）
• 分母 $C_j H_j W_j$：把不同层的损失归一化到同一尺度
• 本质：在特征空间做"逐通道 L2"，而不是像素空间
🎯 与 per-pixel 损失的关键差异
per-pixel 是 $\lVert \hat y - y \rVert_2^2$，对图像空间求和。
feature 是 $\lVert \phi_j(\hat y) - \phi_j(y) \rVert_2^2$，对特征空间求和。
⇒ 容忍像素级抖动，要求语义一致。
直觉 · 用哪一层差异巨大（Fig. 3）
  • 浅层 (relu1_2 / 2_2) — 重建后像素几乎一致，因为浅层特征基本就是像素的小变换
  • 中层 (relu3_3 / 4_3) — 内容 / 空间结构保留，但颜色、纹理、精确形状丢失
  • 深层 (relu5_1 / 5_3) — 只保留语义"这是只猫"，外观差很多
★ 选层 = 选"放手程度"
• 风格迁移要"换皮不换身" ⇒ 用中层 relu3_3
• SR 要"还原细节" ⇒ 用较浅 relu2_2
• 选得越深，输出越"放飞"
⚠ 副作用
特征损失输出有"棋盘状"伪影（论文承认），层选得越深越严重 — 这是 SR 用 relu2_2 而非更深层的原因。
理论根源 · 来自特征反演[Mahendran '15]
Mahendran 让一张噪声图反向优化到"在某层 VGG 特征上"匹配目标图，结果发现可以恢复出视觉相似的图。本文反其道而行：不优化图，而是训练一个网络去快速产生这种图。
12 PART 2 · 方法

Style Reconstruction Loss · 风格损失 · Gram 矩阵抓"纹理统计"

Feature loss 抓"是什么内容"，但没法抓颜色 / 纹理 / 笔触。Gatys 的解法：把特征图变成 Gram 矩阵 — 一个抛弃空间位置、只保留"通道间共激活统计"的描述子。
Gram 矩阵 · 怎么构造
φ_j(x) C × H × W 特征图 reshape ψ C × HW ψ ψᵀ / CHW G_j^φ(x) C × C 通道协方差 ★ 无空间 对 ŷ 和 y 各算一次： G(ŷ) − G(y) Frobenius ‖·‖²_F: ‖G(ŷ) − G(y)‖²_F
$$G^{\phi}_j(x)_{c,c'} = \frac{1}{C_j H_j W_j} \sum_{h,w} \phi_j(x)_{h,w,c}\,\phi_j(x)_{h,w,c'}$$ $$\ell^{\phi,j}_{style}(\hat y, y) = \bigl\lVert G^{\phi}_j(\hat y) - G^{\phi}_j(y) \bigr\rVert_F^2$$
从多层求和：$\ell^{\phi,J}_{style} = \sum_{j\in J}\ell^{\phi,j}_{style}$
① 抛掉空间，只留统计
把 $C × H × W$ reshape 成 $C × HW$，每个位置当一个"样本"。每个空间位置去哪了不重要，重要的是哪些通道总是一起亮。
② 通道协方差 = 纹理签名
"红色 + 圆形"通道总是一起亮 ⇒ Gram[red, round] 很大 ⇒ 网络认为"图里到处有红色圆点"。这就是风格 / 纹理的数学定义。
③ 多尺度求和
不同层 = 不同尺度的纹理。relu1_2 抓笔触，relu4_3 抓大色块组织。论文用 1_2/2_2/3_3/4_3 四层之和。
④ 尺寸无关
G 是 $C × C$，不依赖图像尺寸。所以 256² 训练的模型可以在 512² / 1024² 上推理（论文 Fig. 7 用此特性）。
★ 风格迁移 = feat + style
内容用 feat loss 锚住，风格用 style loss 替换 — 这就是风格迁移目标函数的全部。
13 PART 2 · 方法

辅助损失 · Pixel Loss + Total Variation 正则

除了两个感知损失，论文还定义了两个传统的"低层"损失作为补充工具。它们简单，但在某些场景下是必要的对比基线或正则项。
① Pixel Loss · 像素损失
$$\ell_{pixel}(\hat y, y) = \frac{1}{C H W} \bigl\lVert \hat y - y \bigr\rVert_2^2$$
就是老朋友 L2。能用的前提：必须有逐像素对齐的 ground truth — 也就是说，只能用在 SR 这种有真值的任务上，风格迁移没有"标准答案"，不能用。
论文用它的两个角色：① 作为 SR 实验的 baseline（与 ℓ_feat 对比）；② 不作为主损失使用。
② Total Variation Regularization
$$\ell_{TV}(\hat y) = \sum_{h,w} \!\sqrt{\bigl(\hat y_{h{+}1,w} - \hat y_{h,w}\bigr)^2 + \bigl(\hat y_{h,w{+}1} - \hat y_{h,w}\bigr)^2}$$
惩罚相邻像素差异之和 — 鼓励输出空间平滑，抑制感知损失带来的高频"棋盘"伪影。
论文设置：风格迁移 TV 权重 $\lambda_{TV} \in [10^{-6}, 10^{-4}]$，每种风格图交叉验证选一个。SR 实验中也保留一个小 TV 项。
★ 总目标函数 · 把所有损失加权合并
$W^{*} = \arg\min_{W} \,\mathbb{E}_{x,\{y_i\}} \!\left[\sum_i \lambda_i\,\ell_i(f_W(x), y_i)\right]$
ℓ_feat
内容/语义
ℓ_style
风格/纹理
ℓ_pixel
基线对比
ℓ_TV
平滑正则
两个任务的不同配方：
• 风格迁移 = ℓ_feat(ŷ, y_c) + ℓ_style(ŷ, y_s) + ℓ_TV — 不用 pixel loss（没真值）
• 超分辨率 = ℓ_feat(ŷ, y_HR) + ℓ_TV — 不用 style loss（不需要换风格）
PART 03 / 04

实验

两个任务 · 风格迁移 · 单图超分 · 一边证速度,一边证质量
15 PART 3 · 实验

实验一 · 风格迁移 — 训练 & 超参

风格迁移目标：复现 Gatys 的视觉质量，但把推理速度提三个数量级。训练时把"复现 Gatys 的优化结果"作为明确的可量化目标。
80k
TRAIN IMAGES
MS-COCO 全集 · 256² resize
40k
ITERATIONS
batch=4 · 约 2 epoch · 不过拟合
4h
WALL TIME
单张 GTX Titan X
N
网络数 / 风格数
每种风格图训一个网络
SECTION 4.1 · 训练超参
优化器Adam
learning rate1 × 10⁻³
batch size4
输入尺寸3 × 256 × 256
迭代次数40,000 (≈2 epoch)
weight decay无
dropout无
实现Torch + cuDNN
损失配方 · 每种风格图重训一次
  • Feature loss 层 · relu3_3 — 锁住内容/语义
  • Style loss 层 · relu1_2 / 2_2 / 3_3 / 4_3 之和 — 抓多尺度纹理
  • TV reg 权重 · $10^{-6} \sim 10^{-4}$，每种风格图交叉验证选一个
  • 超参 $\lambda_c, \lambda_s, \lambda_{TV}$ · 与 baseline Gatys 完全一致 — 公平对比
★ 关键设计 · 与 baseline 共享目标
训练目标 = Gatys 优化的同一个目标函数 (式 5)。所以可以直接比目标值：本文网络 vs baseline 优化 N 步的结果。下一页 / 下下页给出定性 + 定量比较。
16 PART 3 · 实验

风格迁移 · 定性对比 — 与 Gatys 几乎等价

Fig. 6 / 7 是论文的"硬通货" — 把本文输出和Gatys 优化 500 步输出并排放在一起，让读者自己判断。结论：肉眼几乎区分不出，但本文快 1000×。
Fig. 6 · 256² 风格迁移结果 (论文图位置)
Content
(MS-COCO val)
Gatys [11]
500 iter
Ours
single forward
Content
Gatys
Ours
• 6 种风格图 × 多张 content · 同样的 $\lambda_c, \lambda_s, \lambda_{TV}$
• Content 全来自 MS-COCO 2014 验证集 — 没在训练里见过
6 种 hand-picked 风格
  • The Starry Night · Van Gogh 1889
  • The Muse · Picasso 1935
  • Composition VII · Kandinsky 1913
  • The Great Wave · Hokusai 1829
  • Sketch · 素描
  • The Simpsons · 卡通
✔ 主要观察
① 内容 / 物体边界清晰保留；② 风格的笔触 / 颜色 / 纹理整体复现；③ 与 Gatys 视觉差异极小。
⚠ 小瑕疵 · 重复纹理
Starry Night 等图：本文输出有些重复的黄色斑块（但不相同）。高分辨率时更明显（Fig. 7）。
↑ 跨分辨率泛化
256² 训练 → 512² / 1024² 直接推理（Fig. 7）— 因为全卷积 + Gram 与尺寸无关。
17 PART 3 · 实验

风格迁移 · 定量目标值 — 50–100 步优化等价

因为本文与 baseline 优化最小化同一个目标函数，所以可以直接比较目标函数值：把"本文一次前向"和"baseline 优化 N 步"的目标值放在同一张图上。
Fig. 5 · 50 张 COCO 验证图上对比目标函数值 · 三个分辨率
Baseline iterations → log Objective 50 100 200 300 500 Ours (forward) y_c (init) 交点 ≈ 50–100 iter Baseline (3 resolutions: 256² / 512² / 1024²) Gatys baseline Ours
读图方法：Y 轴是 Eq. 5 目标值 (越低越好)。本文绿虚线与 baseline 橙色曲线在 50–100 次迭代处相交。换言之，本文一次前向 ≈ baseline 优化 50–100 步。
★ 三个观察
  • 本文目标值 ≈ baseline 50–100 步 — 距 baseline 收敛值 (~500 步) 只差一点
  • 所有 50 张测试图结论一致 — 不是个别样本运气好
  • 三种分辨率都成立 — 训练 256² → 推理 512² / 1024² 仍然有效
为什么"不到 500 步"反而够好？
baseline 50→500 步的提升主要发生在前 100 步，后面收益递减。本文用"一次前向"换"50–100 步"，性价比拉满。
⚠ 客观差距
本文目标值仍略高于500 步 baseline。但下一页会看到：这点差距换来的是 1000× 加速。
18 PART 3 · 实验

风格迁移 · 速度 Table 1 — 三个数量级加速

Table 1 是这篇论文最有冲击力的一张表 — 直接列出本文 vs Gatys 在三种分辨率下的单图秒数。本文一次前向比 baseline 单步迭代还快。
Table 1 · 单图秒数 · Titan X GPU
Image Size Gatys et al. [11] Ours Speedup vs
100 iter300 iter500 iter 1 forward 100300500
256 × 256 3.17 s9.52 s15.86 s 0.015 s 212× 636× 1060×
512 × 512 10.97 s32.91 s54.85 s 0.05 s 205× 615× 1026×
1024 × 1024 42.89 s128.66 s214.44 s 0.21 s 208× 625× 1042×
红字 = 与 baseline 500 步对比的加速比（三个数量级）　·　 蓝字 = 与 100 / 300 步对比　·　所有都在同一张 Titan X 上测。
★ 头条数字
1060×
256² · 与 baseline 500 步对比 — 训练一次,永久部署
实时视频可行性
20 FPS
512² @ 0.05 s/帧 → 实时风格化视频变得可能 (论文核心叙事)
观察：
本文耗时 ≈ baseline 单步迭代的一半（横向对比同分辨率即可看出）— 加速比与分辨率几乎无关，恒定 ~1000×。
19 PART 3 · 实验

实验二 · 单图超分辨率 — 训练 & 超参

超分实验的目标不是刷 PSNR，而是验证 "perceptual loss 比 pixel loss 视觉更好" 这件事。论文明确放弃 PSNR 领先，转而靠定性结果 + MTurk 用户研究来证明。
10k
TRAIN IMAGES
MS-COCO · 288² patch
200k
ITERATIONS
batch=4 · Adam · lr 10⁻³
×4/×8
SR SCALES
每个 scale 训一个网络
relu2_2
FEAT LAYER
更浅 → 保细节，少棋盘
LR 输入怎么造的
  • 取 HR patch (288 × 288) →
  • 高斯模糊 σ = 1.0 →
  • bicubic 下采样 ×f 倍 →
  • 得到 LR 输入 (288/f × 288/f)
后处理：网络输出与 LR 输入做直方图匹配 (histogram matching) — 校正亮度漂移。
两个 baseline · 公平对比
  • SRCNN [Dong'14] · SoTA 像素损失方法 (但只有 ×4，没 ×8)
  • Ours (ℓ_pixel) · 与本文同架构 / 同数据，只换损失为像素 L2 — 把架构差异隔离掉
为什么放弃 PSNR 领先？
PSNR ≡ 像素 L2 ⇒ 用 L2 训练的模型在 PSNR 上必然占优。论文承认这点,转而看视觉 + 用户研究。
评测集
Set5 / Set14 / BSD100 三套标准测试集 · PSNR + SSIM 只在 Y 通道（YCbCr）— 与 SRCNN 等论文评测对齐。
20 PART 3 · 实验

×4 超分 · Fig. 8 — 细节锐利 vs PSNR 倒退,主动放弃数字

×4 是 SR 任务的主战场。论文同时给出 PSNR/SSIM 表 + 视觉对比 — 数字上本文败给 SRCNN，视觉上本文反而最好。这就是"PSNR 与人眼脱节"的实证。
Fig. 8 · Set5 / Set14 上 4 个方法定性对比（论文图位置）
Ground
Truth
Bicubic
SRCNN
Ours
(ℓ_feat)
Eyelashes
(close-up)
糊
略糊
锐利 ★
Hat
(close-up)
糊
略糊
细节 ★
★ 论文指出：第一张图的睫毛、第二张图的帽子织纹 — 只有 ℓ_feat 把这些细节恢复出来。
PSNR / SSIM · Set5 / Set14 / BSD100 均值 · ×4
Method Set5Set14BSD100
Bicubic 28.43 / 0.81125.99 / 0.73025.96 / 0.682
Ours ℓ_pixel 28.40 / 0.82125.75 / 0.69925.91 / 0.668
SRCNN 30.48 / 0.86327.49 / 0.75026.90 / 0.710
Ours ℓ_feat ★ 27.09 / 0.768 24.99 / 0.673 24.95 / 0.633
红色 = ℓ_feat 在数字上最差(!) · 黑加粗=最高
★ 关键洞察
ℓ_feat 的所有 PSNR/SSIM 都最差,但视觉上最锐利。这恰好说明：PSNR/SSIM 衡量的不是"看着是不是清晰",而是"是否逐像素接近 GT"。
⚠ 棋盘伪影
ℓ_feat 输出会有细密棋盘格(放大可见),这是 feature loss 的副作用 — 拖累了 PSNR,但人眼大都不在意。
21 PART 3 · 实验

×8 超分 · Fig. 9 — 极限放大下感知损失更"理解语义"

×8 时 LR 已经丢掉绝大部分细节，任务退化成"猜"。SRCNN 不支持 ×8，本文只与 ℓ_pixel baseline 比 — 结果是ℓ_feat 锐化"该锐的"，柔化"该柔的"。
Fig. 9 · BSD100 ×8 SR · 马 + 骑手特写
Ground
Truth
Bicubic
Ours ℓ_pixel
Horse legs
+ hooves
糊成块
仍模糊
Ours ℓ_feat (此处占论文 1/3 宽) — 马腿 / 蹄子锐利,背景树木保持柔和
论文亮点：ℓ_feat 不是无差别锐化 — 它选择性锐化前景主体，背景树木仍保持柔和。
PSNR / SSIM · ×8 · Set5 / Set14 / BSD100 均值
Method Set5Set14BSD100
Bicubic 23.80 / 0.64622.37 / 0.55222.11 / 0.532
Ours ℓ_pixel 24.77 / 0.68623.02 / 0.57922.54 / 0.553
Ours ℓ_feat ★ 23.26 / 0.706 21.64 / 0.584 21.35 / 0.547
ℓ_feat 的 PSNR 落后,但 SSIM 反而高(Set5 0.706 vs 0.686) — SSIM 比 PSNR 更接近感知。
★ "选择性锐化" = 语义意识
论文原句意思：ℓ_feat 锐化马的轮廓边缘,但背景树木仍保持模糊 — 这表明网络具有一定语义意识,知道"什么该锐"。
作者来源说明
这种"语义意识"不是被显式监督的,而是从 VGG 损失隐式继承 — VGG 知道哪是马、哪是树。
22 PART 3 · 实验

超分 · MTurk 用户研究 + PSNR 的局限

既然 PSNR 不可信,作者直接做了人类偏好测试。在 Amazon Mechanical Turk 上把ℓ_feat vs SRCNN 两张图并排给工人选,五人投票决定。
MTurk 偏好率
96%
BSD100 上,96% 的图多数工人偏好 ℓ_feat 而非 SRCNN
测试设计：每对图 5 个工人投票 · 全部随机化 · 同时展示 nearest-neighbor 上采样作为参考。
为什么 PSNR / SSIM 不可信 · 论文给出 4 个证据
  • ① 文献 [60–62] 已证明 PSNR / SSIM 与人眼主观质量相关性很差
  • ② PSNR 默认加性高斯噪声残差假设 — SR 任务残差不是高斯
  • ③ PSNR ≡ ℓ_pixel ⇒ 像素损失训练的模型"自动"PSNR 占优 — 不公平比较
  • ④ MTurk 真人偏好 = 直接反例
★ 这件事的意义远超 SR
这是论文第一次系统地把"指标-视觉脱节"摆到台面上 — 后来 LPIPS, FID, GAN 评估都建立在这个共识上。
作者的克制
论文明确写道："本节目的不是刷 SoTA PSNR/SSIM, 而是展示像素损失与感知损失的视觉差异" — 客观、不绑架数字。
PART 04 / 04

总结

贡献清单 · 思想遗产 · 后续十年的范式起点
24 PART 4 · 总结

贡献清单 · 思想遗产 · Future Work

Perceptual Losses 把两条曾经互不相交的路线合并成一条 — 前馈网络的速度 + 优化方法的视觉质量。这个组合在 2016 年看起来是"风格迁移的加速 trick"；十年后回看,它奠定了"用预训练网络当损失"的整个范式。
论文的三个具体贡献
①
把感知损失从优化器搬进训练
Loss network 作为可微监督信号
②
风格迁移 1060× 加速
512² @ 20 FPS · 实时视频可行
③
×4/×8 SR 上证明 ℓ_feat > ℓ_pixel
MTurk 96% 偏好 · 即使 PSNR 倒退
作者展望 · Future Work
"希望未来把感知损失应用于更多图像变换任务" — 这一句话其实就是后续十年视觉生成研究的 roadmap。
思想遗产 · 后续十年发生了什么
2017
Instance Norm · 风格迁移更快、更稳
2017
SRGAN / ESRGAN · 感知损失 + 对抗损失 · 真实纹理
2018
LPIPS · 把"感知距离"做成标准评测指标
2019+
StyleGAN / Pix2PixHD · 感知损失成为生成模型标配
2022+
Latent Diffusion / Stable Diffusion · VAE perceptual loss
★ 一句话
"用预训练网络当尺子" — 这个想法的所有后续都可以追到这篇 ECCV 2016。