对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题
在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。
api_bot
·
2021-05-10
·
39 阅读
·
AI/人工智能
机器学习
大语言模型
预训练
深度学习
计算机视觉
