已收录完整度 0%

Noam Shazeer

Q30251943

美国机器学习研究员

✨ AI贡献：他作为Transformer架构论文的合著者与谷歌BERT等大模型的关键开发者，在推动自注意力机制与大规模预训练模型发展上贡献卓著。来源：Transformer论文《Attention Is All You Need》及公开资料。

机器学习工程师

员工

谷歌

2024 - 至今

员工

Character.AI

2021 - 2024

员工

谷歌

2000 - 2021

bachelor's degree

杜克大学

1994 - 1998

🏆 成就

Transformer架构的核心设计者之一

Noam Shazeer是2017年Transformer架构论文《Attention Is All You Need》的核心作者之一。他个人设计了Transformer中的多头注意力机制和残差架构，并编写了首个超越当时最先进水平的实现代码。Transformer是现代大语言模型（如GPT、BERT、Gemini）的基石，其“注意力机制”彻底改变了序列建模，使模型能够并行处理输入并捕获长距离依赖关系。

Transformer 注意力机制 AI架构谷歌

发明了当前大语言模型革命的诸多关键技术

Shazeer自称“发明了当前大语言模型革命的大部分内容”。除了Transformer，他的关键贡献还包括：稀疏门控混合专家层（MoE）、Mesh-TensorFlow训练系统、T5文本到文本统一模型框架，并且是Google对话模型LaMDA的主要贡献者。这些工作共同构成了现代LLM的技术栈。

大语言模型 AI革命关键技术 Google

🚀 项目

稀疏门控混合专家层（MoE）

Shazeer在2017年的论文《Outrageously Large Neural Networks》中提出了稀疏门控混合专家层。该方法通过一个门控网络，针对每个输入样本动态激活少数“专家”神经网络，而非使用整个庞大模型。这极大地增加了模型参数总量（可达万亿级）的同时，控制了实际计算成本，为训练超大规模模型提供了可行路径。此技术已被用于GPT-4、Gemini等最先进模型。

混合专家模型缩放稀疏计算大规模训练

稀疏门控混合专家层

Shazeer在2017年提出了“稀疏门控混合专家层”，这是一种用于构建超大规模神经网络的技术。该方法通过让每个输入仅激活少数“专家”网络，而非整个庞大网络，从而在保持模型容量的同时大幅降低计算成本。这项技术为后来训练万亿参数级别的大型语言模型提供了关键方法。

混合专家模型缩放计算效率大型语言模型

Mesh-TensorFlow：超级计算机上的深度学习

为了解决训练巨型Transformer模型的计算难题，Shazeer等人于2018年开发了Mesh-TensorFlow。这是一个用于超级计算机的深度学习系统，首次实现了在超大规模计算集群上高效、实用地训练巨型Transformer模型，为大模型时代的基础设施奠定了基础。

分布式训练超级计算 TensorFlow 模型训练

📰 新闻

谷歌以27亿美元交易重新聘用Shazeer

2024年，谷歌通过一项与Character.AI的许可协议，以价值约27亿美元的交易重新聘用了Noam Shazeer。他曾在2000年加入谷歌，是早期员工，后离开并联合创立了Character.AI。此次回归后，他被任命为谷歌Gemini项目的联合负责人，负责领导其核心AI模型的开发。这笔巨额交易凸显了他在AI领域的顶尖价值和对谷歌AI战略的关键性。

职业经历 Character.AI 谷歌高管任命

从Google AdSense到Gemini的长期贡献者

Noam Shazeer于2000年加入Google，早期改进了搜索引擎的拼写纠正器，并编写了PHIL算法，该算法后来成为Google AdSense系统的核心。他在Google工作超过20年，从软件工程师成长为工程副总裁，目前是Google Gemini项目的联合技术负责人。

Google 职业生涯 AdSense Gemini

多项关键AI技术的发明者

除了Transformer，Noam Shazeer还发明或主导开发了多项塑造现代AI格局的关键技术：包括用于训练巨型Transformer的Mesh-TensorFlow系统（2018）、文本到文本统一框架T5（2019），并且是谷歌对话系统LaMDA的主要贡献者。早在2000年代初期，他改进的拼写纠正器和编写的PHIL算法成为了谷歌AdSense系统的核心。

技术创新 T5 LaMDA AdSense Mesh-TensorFlow

从Google AdSense到Gemini的职业生涯

Noam Shazeer于2000年加入Google，最初改进了搜索引擎的拼写纠正器。他后来编写了PHIL算法，该算法成为Google AdSense系统的核心。在Google工作期间，他贡献了多项重要发明，包括稀疏门控混合专家层（2016）、Mesh-Tensorflow（2018）和T5（2019）。他目前是Google Gemini的联合技术负责人和工程副总裁。

Google 职业生涯 AdSense Gemini

Character.AI的联合创始人兼前CEO

Noam Shazeer于2021年联合创立了Character.AI，这是第一个基于Transformer架构推出的聊天机器人，早于ChatGPT的发布。他担任公司CEO直至2024年8月，之后重返Google领导Gemini项目。这体现了他兼具顶尖研究能力和创业精神。

Character.AI 创业聊天机器人 Transformer应用

💬 名言

“我发明了当前大型语言模型革命的大部分内容”

在LinkedIn个人简介中，Shazeer自信地写道：“我发明了当前大型语言模型革命的大部分内容。” 这并非夸大其词，他的贡献清单——Transformer、MoE、Mesh-Tensorflow、T5、LaMDA——确实构成了现代LLM技术栈的核心支柱。

自我评价影响力大型语言模型技术革命

📝 简介

共同创立Character.AI并重返Google

Noam Shazeer于2021年共同创立了Character.AI，这是首个基于Transformer架构推出的聊天机器人，甚至早于ChatGPT的发布。他担任该公司的首席执行官直至2024年8月。随后，Google以高额薪酬将其召回，任命其为Gemini模型的联合负责人，这凸显了其在AI领域不可替代的专业价值。

创业 Character.AI 职业变动 AI竞赛

从谷歌早期员工到AI创业再回归

Noam Shazeer的职业生涯与谷歌AI发展紧密交织。他于2000年加入谷歌，从事搜索和广告基础工作。在深度参与Transformer等突破性研究后，他离开谷歌并联合创立了Character.AI，推出了首个基于Transformer的聊天机器人。2024年，谷歌通过巨额交易将他重新聘回，并任命为旗舰AI项目Gemini的联合负责人，完成了一次从内部创新者到外部创业者再到核心领导者的循环。

创业职业轨迹 Character.AI Gemini