原文摘要翻译

回顾一下 FID

1. 特征提取：将真实图像和生成图像分别输入到一个预训练的 Inception 网络（通常是 InceptionNetV3）中，提取某一层的高维特征。

2. 特征分布表示：将这些特征表示为多维高斯分布，用均值向量 μ 和协方差矩阵 Σ 表示。

3. 计算分布差异：通过 Fréchet 距离公式计算两个分布之间的距离：
• ：真实图像特征的均值和协方差。
• ：生成图像特征的均值和协方差。

1. 依赖预训练网络：通常基于 ImageNet 数据集预训练的 Inception 网络，可能会对特定领域（如医学图像）不适用。

2. 计算量较大：需要较多的图像样本来可靠地估计分布。

3. 对图像分辨率敏感：不同分辨率的图像可能导致特征分布变化，从而影响 FID 的计算。

概要

参考这种评价指标，后面设计一个评价指标来针对 表型数据的生成如何评价 作为一个创新点

Metrics 设计细节

• 总体要求
• 单调性。质量变坏时评价指标能稳定地变高或稳定地变低
• 敏感度。能够敏锐反映人类难以察觉的质量缺陷
• 鲁棒性。仅用少量图片即可稳定反映质量
• 高效性。计算开销应较小

• 目前的情况
• FID：应用十分广泛，但是
• 忽略细粒度细节瑕疵：无法检测生成图像中的细节伪影（artifacts）。
• 与人类评价存在不一致性：在文本生成图像任务中，FID 常与人类评分结果不一致，且在图像退化时表现出非单调行为。
• 无法捕捉图像生成的细微差异：统计测试和经验研究表明，FID 无法完全反映图像生成的精细特征。
• 可能存在模型偏差：对不同模型的评估结果可能存在偏差。
• 对样本数量需求高：需要超过 20,000 张图像样本才能获得稳定可靠的评估结果，这在样本有限或需要快速验证的场景中不适用。
• FLD：最近被尝试部署，但
• 归一化流的隐层空间维度数等于输入的维度，导致计算开销过大

• 这篇工作提出的 FLD+：降低数据流的维度
• “leverages a pre-trained backbone network to extract a feature tensor that captures essential information from images.”
• 提出了一种基于归一化流（normalizing flows）的新指标 FLD+，用于评估生成图像的质量。
• 假设并验证了 FLD+ 对多种图像失真、扩散步骤以及生成模型规模变化的敏感性和单调性。
• 假设并验证了 FLD+ 的数据效率（相比 FID 提高了两个数量级），归因于归一化流对图像对数似然的估计，使得指标估计更加稳定。
• 使用归一化流对预训练特征提取器的特征空间分布建模，从而提升训练效率。
• 假设并验证了 FLD+ 能够以较小的数据和计算需求适应新的图像领域，即使是在使用预训练特征提取器的情况下。

• Previous Metrics Limitations
• 基于多元正太分布的假设
• 数据需求大，计算量大
• 基于ImageNet训练

• 测评标准：

• 模型实现

1. 特征提取（Feature Extraction）
• 采用ImageNet 预训练的计算机视觉骨干网络 B（例如 ResNet、VGG）。
• 在最后一层之前提取特征
• 这里 仍然是一个高维张量（通常是三维，形状为 (C,H,W)。

2. 2D 平均池化（2D Average Pooling）
• 通过 对 进行降采样（down-sample），减少空间维度：
• 这一步减少了数据的维度，同时保留了重要的特征信息。

3. Flatten 操作
• 由于后续的归一化流模型 N 需要处理一维向量，需要将 从 (C, H, W) 变成一维向量 ：
NN
• 例如，假设 xp 形状为 (256, 4, 4)，flatten 后变为 (1, 256 × 4 × 4) = (1, 4096)。

4. 传递给归一化流模型（Normalizing Flow）
• 归一化流 N 采用可训练参数 θ，对展平后的向量 xf 进行建模：
• 归一化流学习数据分布，并输出数据的对数似然（log-likelihood）。

• 这样定义有个好处，因为归一化的流动近似于每个样品的确切对数可能性，这是标量数量，因此当平均几百个图像平均时，它可能会产生稳定的度量。其他度量需要数万张图像才能首先估计假定的参数分布。

• 其次，跨域性能强。为了解决仅使用预训练的CNN功能来解决数据集偏置，我们在从ImageNet预训练模型中获得特征嵌入后引入了归一化流。即使使用域外提取器进行计算，也可以在域特异性特征上训练这种归一化流量，从而有效地将嵌入到目标域。