CLIP 的训练目标是让图像和文本在最后一层的 embedding 中对齐(通常使用图像编码器的最终 [CLS] token])。
然而,在实际使用中我们发现:
图像编码器不同层的输出有不同的抽象层次;
某些任务(如风格迁移、构图保持)不需要用最终语义层的输出,而是更适合中间层特征;
所以我们可以通过 CLIP Set Last Layer 人为选用非最终层作为输出 embedding,来获得更“颜色风格/细节纹理”的特征,而不是“高抽象语义”。
按当前节点配置,分别展示中文与英文节点结构。面板按 ComfyUI 实际界面还原: 左侧圆点是输入,右侧圆点与该行最右的名称为输出,下方胶囊是控件参数; 控件两端的三角表示可切换的选项。
面板用于对照参数位置与命名,不做交互;实际节点外观以 ComfyUI 内的主题为准。
依据当前节点关联的 NodesItems 数据,按输入、输出、控件三类分别列出名称与说明。
CLIP 的训练目标是让图像和文本在最后一层的 embedding 中对齐(通常使用图像编码器的最终 [CLS] token])。
然而,在实际使用中我们发现:
图像编码器不同层的输出有不同的抽象层次;
某些任务(如风格迁移、构图保持)不需要用最终语义层的输出,而是更适合中间层特征;
所以我们可以通过 CLIP Set Last Layer 人为选用非最终层作为输出 embedding,来获得更“颜色风格/细节纹理”的特征,而不是“高抽象语义”。