CLIP注意力相乘
0节点功能:CLIPAttentionMultiply 节点是一个用于 调节 CLIP 模型中 Self-Attention 权重强度的实验性工具,它通过动态打 patch 的方式,对 CLIP 编码器中的 self-attention 模块中的 Q/K/V/Out 投影权重和偏置施加缩放因子,从而影响文本向量的编码方式与注意力模式。
节点中英文对比
CLIP注意力相乘
q
1.00
k
1.00
v
1.00
输出
1.00
CLIPAttentionMultiply
q
1.00
k
1.00
v
1.00
out
1.00
CLIP注意力相乘 - 参数说明
输入参数
clip
文本编码器模型。
输出参数
CLIP
注入了 Q/K/V/Out 缩放系数的 CLIP 模型。
控件参数
q
查询向量 Q 的缩放因子,默认值 1.0。控制每个 token 在 attention 中的提问强度。
k
键向量 K 的缩放因子,默认值 1.0。控制 token 之间匹配信息的密集程度。
v
值向量 V 的缩放因子,默认值 1.0。控制哪些 token 内容传递到 embedding 输出。
out
Attention 输出投影的缩放因子,默认值 1.0。控制整体注意力输出到最终 embedding 的影响强度。