Field note / 2025

高维对比学习：为何负样本不应推向-1？

本文深入探讨了深度学习对比学习中一个常见的几何误区：在高维特征空间中，将负样本对的余弦相似度推向-1是错误且低效的。文章通过分析高维几何的“测度集中”现象，解释了为何负样本应趋向于正交（相似度接近0），而非相反（-1），并提出了“正交性原理”作为更合理的优化目标。