transformer|Transformer中的余弦相似度解释 transformer|cnn

1. 引言 Transformer首先将每一个q u e r y query query 和k e y key key 做内积，结果作为相似度，那么为什么做内积可以得到相似度呢？
2. 内积的定义存在两个向量a = [ a 1 , a 2 , . . . , a n ] a = [a_1, a_2, ..., a_n] a=[a1?,a2?,...,an?] ,b = [ b 1 , b 2 , . . . , b n ] b = [b_1, b_2, ..., b_n] b=[b1?,b2?,...,bn?]，则a , b a, b a,b 的内积为：
a ? b = a 1 b 1 + a 2 b 2 + . . . + a n b n a \cdot b = a_1b_1 + a_2b_2 + ... + a_n b_n a?b=a1?b1?+a2?b2?+...+an?bn?
3. 余弦相似度除了上面的计算外，a , b a, b a,b 的内积还可以写成：
a ? b = ∣ a ∣ ∣ b ∣ c o s ( a , b ) a \cdot b = |a||b| cos(a, b) a?b=∣a∣∣b∣cos(a,b)
自然而然我们可以推出c o s ( a , b ) cos(a,b) cos(a,b) 的计算公式：
c o s ( a , b ) = a ? b ∣ a ∣ ∣ b ∣ cos(a, b)=\frac{a \cdot b}{ |a||b| } cos(a,b)=∣a∣∣b∣a?b?
【transformer|Transformer中的余弦相似度解释】从上面的公式我们可以看出：

余弦相似性其实就是向量内积的归一化。
余弦相似度和内积呈正相关

4. 不同的情况下但是光看余弦相似度这个指标是不太行的，因为它是归一化后的结果，只根据两个向量角度来进行相似度计算，没有考虑向量的长度。
举个例子：
比如两个向量A = ( 1 , 1 , 0 ) , B = ( 0 , 1 , 1 ) A=(1,1,0), B=(0, 1, 1) A=(1,1,0),B=(0,1,1)，A B AB AB 余弦相似度为1 ( 2 ? 2 ) = 1 2 \frac{1}{(\sqrt{2} * \sqrt{2})} = \frac{1}{2} (2 ??2 ?)1?=21?。余弦相似度不考虑向量长度，( 1 , 1 , 0 ) (1,1,0) (1,1,0) 和( 0 , 3 , 3 ) (0, 3, 3) (0,3,3) 的相似度 =A B AB AB 的相似度
但是，如果向量的长度对相似性有真实影响，那么 A ( 1 , 1 ) , B ( 4 , 4 ) , C ( 5 , 5 ) A(1, 1),B(4, 4),C(5, 5) A(1,1),B(4,4),C(5,5) 三个向量，相似度分别为：
c o s ( A , B ) = 1 × 4 + 1 × 4 1 2 + 1 2 × 4 2 + 4 2 = 8 64 = 1 cos(A, B) = \frac{1\times4 + 1\times 4}{\sqrt{1^2 + 1^2}\times \sqrt{4^2 + 4 ^2}} = \frac{8}{\sqrt{64}} = 1 cos(A,B)=12+12 ?×42+42 ?1×4+1×4?=64 ?8?=1
c o s ( B , C ) = 4 × 5 + 4 × 5 4 2 + 4 2 × 5 2 + 5 2 = 40 32 × 50 = 1 cos(B, C) = \frac{4\times5 + 4 \times 5}{\sqrt{4^2 + 4^2}\times\sqrt{5^2 + 5^2}} = \frac{40}{\sqrt{32} \times \sqrt{50}} = 1 cos(B,C)=42+42 ?×52+52 ?4×5+4×5?=32 ?×50 ?40?=1
可以看到，二者的余弦相似度是相同的，但B C BC BC 内积( 40 ) 大于A B AB AB 内积( 8 )，故B C BC BC 更相似。
参考
核函数 <-- 内积 <-- 余弦相似