已收录完整度 0%

Aidan Gomez

Cohere 联合创始人兼 CEO，Transformer 论文作者之一。

✨ AI贡献：他作为Transformer论文《Attention Is All You Need》的合著者，其提出的Transformer架构彻底革新了自然语言处理，成为当今大语言模型的核心基础。来源：公开资料（论文《Attention Is All You Need》）

人工智能研究员

学生

牛津大学

学生

多伦多大学

员工

Cohere

🚀 项目

可逆残差网络：解决深度网络内存瓶颈

Aidan Gomez是‘可逆残差网络’（Reversible Residual Network, RevNet）的主要研究者之一。该方法的核心创新在于，通过设计可逆的网络层，在反向传播过程中无需存储中间激活值，从而可以动态重建它们。这极大地减少了训练深度神经网络时的内存消耗，使得训练更深的模型成为可能，而不会牺牲性能。这是解决模型规模与计算资源矛盾的重要技术路径。

深度学习模型优化内存效率反向传播神经网络架构

Targeted Dropout：识别并稀疏化神经网络

Aidan Gomez 与 Geoffrey Hinton 等人合作提出了“目标丢弃”（Targeted Dropout）方法。该方法旨在解决神经网络过度参数化的问题。其核心思想不是随机丢弃神经元，而是根据权重的重要性（例如通过Hessian矩阵等信息）有选择地丢弃最不重要的部分，从而在训练过程中主动识别并稀疏化网络，最终得到一个更精简、高效的子网络。这是一种结构化的模型压缩和优化技术。

模型压缩稀疏化神经网络优化方法 Targeted Dropout

可逆残差网络：节省内存的深度网络训练

Aidan Gomez参与提出了可逆残差网络（Reversible Residual Network）。该工作的主要贡献是设计了一种可逆的网络结构，使得在反向传播计算梯度时，无需存储所有中间层的激活值，可以通过网络的可逆性重新计算出来。这极大地降低了训练深度神经网络时的内存消耗，使得在有限硬件上训练更深的模型成为可能。

深度学习反向传播内存优化模型架构

Interlocking Backpropagation：改进深度模型并行

Aidan Gomez 作为第一作者在 JMLR 上发表了“互锁反向传播”（Interlocking Backpropagation）方法。这项工作旨在改进深度模型的并行化训练。通过一种新颖的梯度计算和参数更新交织方式，该方法可以减少设备间的通信开销和内存占用，从而更高效地训练超大规模的深度神经网络。

并行计算反向传播大规模训练深度学习优化算法

🏆 成就

学习的热情是驱动创新的核心动力

Aidan Gomez在简历中明确表示，他最大的优势是‘passion for learning’（对学习的热情）。他认为自己的目标在于学习、扩展理论、创造新技术并为集体知识库做出贡献。这种将学习本身视为目的和动力的哲学，解释了他为何能在学术研究（牛津博士）和产业应用（Google Brain, Cohere）等多个前沿领域持续探索并取得成就。

学习哲学创新动力个人成长研究心态

📝 简介

从Google Brain实习生到AI公司创始人

Aidan Gomez的AI之路起步于顶尖的实验室。早在本科期间，他就在多伦多大学机器学习小组和Google Brain（多伦多）实习，后者更是直接在Geoffrey Hinton指导下工作，研究神经网络间的知识蒸馏。随后在Google Brain（山景城）与Łukasz Kaiser合作构建多任务模型，在伦敦则与Jakob Uszkoreit和Jeff Dean共事。这些在巨头核心研究团队的深厚积累，为他日后创立Cohere奠定了技术和视野的基础。

职业发展 Google Brain 实习经历创业准备

📰 新闻

在顶级会议发表多项重要研究成果

Aidan Gomez在机器学习顶级会议和期刊上发表了多项有影响力的工作。包括在ICML 2022上发表的关于数据点优先级训练的研究，在NeurIPS 2021上发表的关于数据点间自注意力的研究，在JMLR 2022上发表的关于改进深度模型并行化的‘Interlocking Backpropagation’，以及参与发表在《自然》杂志上的利用进化数据和深度学习进行基因变异解读的研究。

学术论文 ICML NeurIPS JMLR Nature