英伟达发布大语言模型 ChipNeMo，专攻辅助芯片设计

摘要： 英伟达推出了自家最新 430 亿参数大语言模型 ——ChipNeMo。对于它的用途，英伟达在官方披露消息中也是非常的明确，剑指 AI 芯片设计。具体而言，ChipNeMo 可...

英伟达推出了自家最新 430 亿参数大语言模型 ——ChipNeMo。

对于它的用途，英伟达在官方披露消息中也是非常的明确，剑指 AI 芯片设计。

具体而言，ChipNeMo 可以帮助工作人员完成与芯片设计相关的任务，包括回答有关芯片设计的一般问题、总结 bug 文档，以及为 EDA 工具编写脚本等等。

英伟达首席科学家 Bill Dally 对此表示：

以英伟达 H100 Tensor Core GPU 为例，它由数百亿个晶体管组成，在显微镜下看着就像是一个精心规划建设的城市一般。

这些晶体管连接在比人类头发丝还细 10000 倍的“街道”上，需要多个工程团队协作两年多的时间来完成，其间繁琐且庞大的工作量，可见一斑。

因此，在英伟达看来，随着 ChipNeMo 这样大语言模型的问世，所有的工作流程都将在效率上得以提升。

用 Bill Dally 的话来说：

总体来看，ChipNeMo 能够帮助英伟达内部的芯片设计师们完成三大方面的工作。

首先就是问答。

ChipNeMo 包含一个原型聊天机器人，它可以回答有关 GPU 架构和设计的问题，帮助许多工程师在早期测试中快速找到技术文档。

例如，你可以向它提问：

ChipNeMo 就会基于这个问题，给出精准的答案：

其次是 DEA 脚本生成。

例如只需向 ChipNeMo 用自然语言提出想要生成代码的要求即可：

仅需静候片刻，带着注释的代码片段“啪的一下”就生成了。

据了解，英伟达目前还在对代码生成器（如下图所示）进行开发，它将来会和现有的工具做一个集成，好让工程师用起来更加方便。

最后是 Bug 总结和分析。

芯片设计人员只需要向 ChipNeMo 描述一下情况即可，例如 prompt 的内容可能包括 Bug 的 ID、Synopsis、Module 和 Description 等等。

而后 ChipNeMo 就会根据 prompt，给出做好的技术总结和管理总结等。

首先在数据集方面，英伟达主要用的 Bug 总结、设计源（Design Source）、文档以及***、GitHub 等硬件相关的代码和自然语言文本。

再经过一个集中的数据集过程来收集，最终在清洗和过滤之后，形成了 241 亿个 token。

其次在算法、架构设计方面，英伟达并没有直接拿目前已商用、开源的大语言模型来做部署。

而是主要用了这些领域自适应（Domain-Adapted）技术，包括自定义标记器、领域自适应持续预训练、带有领域特定指令的监督微调（T），以及领域自适应检索模型。

在此方法之下，便提高了大语言模型在工程助理聊天机器人、EDA 脚本生成和 Bug 摘要和分析等三个应用中的性能。

结果显示，这些领域自适应技术使得大语言模型的性能超过通用基础模型；同时模型大小最多可减少 5 倍，且保持相似或更好的性能。

不过论文作者也坦言：

参考链接：

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。