联想集团黄莹：让场景来驱动大模型未来发展

摘要： 专题：第25届中国国际高新技术成果交易会_中国高新技术论坛　　中国高新技术论坛于11月15日-17日举行。联想集团副总裁黄莹出席并演讲。　　以下为演讲实录：　　各位嘉宾、业...

专题：第25届中国国际高新技术成果交易会_中国高新技术论坛

　　中国高新技术论坛于11月15日-17日举行。联想集团副总裁黄莹出席并演讲。

　　以下为演讲实录：

　　各位嘉宾、业界同仁早上好！

　　很高兴有机会和大家来分享生成式AI和ICT的融合，前面两位演讲者已经把我们这个题目做了一个很好的介绍，下面我可能在一些具体的领域里面看看到底这样的融合和云边端怎么样来让它实现支持生成式AI。

　　这个题目大家已经有所知道，就是生成式AI是什么，自从去年11月份ChatGPT入市以后，大家对生成式AI一下子就引起了广大的关注，一直到现在，上周打造ChatGPT的Open AI举办了DevDay，发布了一系列生成式AI进一步升级的能力，再一次让大家感受到生成式AI的巨大能力。生成式AI底层是有RNN和Tranormer，它可以通过上下文产生的你期待的一些内容与知识。不仅仅是语言，它也可以生成图像或声音。但是它其实有时它也是在类似于鹦鹉学舌，可以生成一些内容，但是它的理解力还是有一些疑问。你有时候和它对话，感觉它是理解你的，但是并不一定，但它确确实实开始具备初步的理解与推导能力，这是生成式AI和传统小模型很不一样的地方。我现在所展示的这段生成式AI定义，其实是由ChatGPT自己产生的，所以它对自己的能力和缺陷也是有比较清晰的自我认识。在ChatGPT出现之前，要让人工智能产生这一段文字，还是很有挑战的。

　　我们所关注的是不仅仅在百模大战中再多一“模“，还需要看大模型最后对产业和社会有什么样的变革和影响，或者说其产业潜能在哪儿？今年年中，麦肯锡发布了一个研究报告，它把大模型对整个社会经济活动的影响有一个乐观的预估，未来每年可贡献上万亿美元的GDP，这其实也是大家特别激动或者关注这个领域、新技术的原因之一。麦肯锡觉得在客服、营销、软件工程等方面，麦肯锡都会很有作为。但我觉得大模型的应用只是刚刚开始，不能一开始把它限制到某些领域，这里面提到的软件工程，我相信各个做软件工程的公司在代码生成及测试中，大模型会有很大的作用。还有客服，大家或许觉得客服就是一个简单的应答，但像联想这样的企业，我们在全球就面对着销售各种各样的设备，特别是服务器，服务器销售以后，最大的问题是当服务器坏了以后，产生问题了之后，如果没有一个很智能的AI支持的客服，整过过程会十分繁琐和昂贵。服务器客服不仅仅是简单回答问题，还能找到根因，最好是当你的内存条或者其他关键部件产生问题之前就能够预警，能够告诉客户应该把在使用由内存预警的工作负载迁移到别的机器上去，不要让它可能的问题对客户的业务产生影响。如果产生了问题，所产生的各种各样的日志需要及时传给联想的技术支持人员，以便尽快找到根源在哪儿。联想研究院在用AI支持联想的技术客服已经做了很多工作，我们开发了若干服务器的关键部件的损坏预测的解决方案。我们和大模型相结合，在ChatGPT出来以前，我们提出PromptRank以抽取文档要点并在重量级杂志上发表。现在我们在训练相关行业大模型，让这个大模型来理解问题，理解问题出在哪儿，期待能协助或取代过去需要一些资深工程师才具备的的专业能力。

　　我们看到大模型有几个比较重要的点，其中包括通信网络，大模型可以分成几个部分，现在大家关注的比较多的都是在云这一层，ChatGPT、文心一言在这一层。我们需要关注行业大模型，有些企业不愿意把资料分给ChatGPT，因为在微调过程当中，有极大可能它会把企业的敏感数据学进去的。这个事发生过，某知名电子巨头的工程人员把不应该提供的技术资料上传给了ChatGPT，这就引起泄密的可能。所以我们要需要考虑把行业模型跑在边缘上。

　　还有终端，手机或者电脑可以跑一个更小的大模型，跟个人相关的一些数据。在上个月底的联想技术大会上，联想提出了混合AI的概念，就是把公有或企业行业大模型、私域行业大模型、个人大模型相融合，把大模型压缩成个人大模型在PC上或者手机上运行。很多个人助理的功能在手机或电脑上运行，这样个人的行为和偏好参数放在自己的设备上，而不是放到边缘或者云上，这样你就不用担心自己的一些个人行动、或者其他的信息被其他人所感知。

　　对于大模型，可以分成预训练、微调和推理。如何能让大模型发挥生更大的作用，但又不会产生各种各样的顾虑？行业大模型或者企业专有大模型可以解决很多专业问题，但是如果需要解决一些更大的，或者超出它的专属领域的问题，那就可以跳转到公有大模型上寻求回答。这样就需要端边云的架构。如果传输端边云数据的传输和大模型的数据很重要，那就需要考虑通讯网络的挑战。从做2G、3G、4G到5G，我们关注的都是语法信息，也就是把整个数据从一端传到另外一端，这样就需要不断提高带宽和速率，这对通信网络的压力也越来越大。

　　最初的时候，香农作为现代通信业的鼻祖，其实已经关注到要考虑文本的语义，因为语义是描述了你所做的这个文本的意义何在。这样很有可能你的模型就不需要把完整的大模型从一端传到另外一端，而只需要把中间的关键点，类似双方都有一个密码本，你只要告诉他一个密码，对方就知道了。好比我要传一个Π，我不传整个3.14159等等的数据，而是我只是告诉他我要传一个Π，对方收到我的指令之后，就是直接把这个Π在他那边生成了。这样就大大地省去了传输对于网络的压力，这也是未来在大模型出现以后，从原来的仅仅语法通信演进到语义通信。这份工作我们是和业内其他专家，特别是在北京的联发研院的合作，争取能够做到从知识驱动到数据驱动，到最后变成混合驱动。这个区别就是如果我是语法的，它需要把整个数码码们从一端传到另外一端，这样消耗很多的网络带宽，但如果我用语义，就可以让它语义不用失真，我就省去了大量网络。端边云如果从云端发放一个新的信息，它可以通过语义传到边缘端，最后传到手机段。

　　在5G出现以后，整个网络发生巨大变化，越来越趋向于IT化，也就是说从原来一个个“黑盒”的通信设备慢慢开始开放了，更多的用IT虚拟化形式实现网络功能，也就是网络功能虚拟化。另外还有一个现在也已经开始兴起的，就是怎么样把网络功能和应用功能结合，同时运行在一个计算平台，比如边缘计算云平台。我这里讲的边缘计算可能超越传统的MEC，MEC是更多的把网络内容数据流直接分流在边缘上，让当地的应用进行运算或者马上进行反馈。但我们认为边缘计算需求远远超出对网络层面的数据流的运算需求，因为还有很多数据是IT的数据和企业运营数据，这样你应该把MEC的边缘计算的概念进行一个拓展，也就是在边缘侧提供强大包括支持AI应用的强大算力。我们刚才讲的大模型或者行业大模型，比如制造业，它的模型和数据量本来很大，比如在一个工厂需要在边缘侧提供很强大的算力，而且要把它做成一个边缘算力和通讯算力做同平台，这样就可以很好地支撑通讯、数据分流的需要和运算产线工业和AI应用的需要。我们首先联想在深圳的南方基地支撑智能制造的大模型+边缘云+云化5G小站，整个在这个工厂里面得到实现，已经从去年10月份开始生产性运行，支撑了整个产线的需要，而且已经***到联想在天津第一个全新的零碳工厂，这个方案获得“中国电子学会的最佳解决方案奖”。

　　联想边缘云到底是什么？它底层是硬件，边缘计算设备，大的是服务器，小的到边缘***。边缘云最主要是把存算融为一体，支持传统和异构的虚拟化。原来的超融合只是把底层的存储和虚拟化计算做了融合，现在有了AI、大模型、边缘大模型后，我们就需要对智算进行虚拟化。同时很重要的，它要符合各种CT需求，就是说MEC所有要求在这里得到体现。另外它需要支持多个大模型协同，往上可以跟云端大模型结合，往下可以和终端个人大模型结合。另外还有很多边缘管理方面的能力。当边缘云分布在很多工厂或者基站的时候，它需要有大批量的设备与整个运算环境的管理，但当地没有IT运维人员，这样就需要通过另外一个AI，也就是AI Ops进行整个设备和计算环境管理，我们把它叫做边缘云管理。边缘云可以支持的应用很多，可以在智能制造、零售、、能源、交通等等，我们团队已经实现了其中一些边缘场景。在这里最重要的是边缘云本身已经拓展了边缘的概念，不仅仅是边缘***和MEC，它是提供整个一套让大模型进行承上启下计算的算力平台。

　　这里面我们可以看到，它可以在多个方面，一个是轻量虚拟化，它也有异构的算力支持，云边端的协同，安全框架，因为这里面有数据加密的需求，或者说本身需要建立防火墙的能力。高速存储，尽管边缘云footprint很小，大模型在推理的运算速度也需要很快，还有多网络接入，MEC等等。整个在大模型中，联想边缘云在设计的时候是以边缘强大设计来设计的，在AI支持方面、大模型支持方面也提供了很多这方面的能力。特别要指出的就是全闪，现在存储进入这样一个领域，过去是用硬盘，它毕竟速度很慢，现在全闪的价格、NVMe的价格下来了，超融合边缘云形态做得很小，容量很大，可以上T或者几十T的容量，我们在边缘云里面专门做了两节点的分布式的边缘超融合。

　　在这里，我提出一些思考，大模型发展才刚刚开始，我们看到过去一年大模型方兴未艾，其实这个路途还是很遥远，我们大家不管是从应用的角度还是底层基础架构的角度，还有很多很多工作需要去做。现在希望我们大家更多去看在各种各样的场景下如何更好的运用大模型，让场景来驱动大模型未来的发展，而不仅仅对打造大模型本身的关注。像ChatGPT这样的通用大模型在不断进行扩展其能力，但也需要进一步增强行业大模型的发展。第二是要考虑到混合AI把底层、云端、边缘、终端的大模型做很好的结合，这样能够让我们的消费者和企业用户从中获得巨大的收益。最后当然也需要一些系统性的规划，我们觉得这个赛道的发令枪刚刚打响，还有让业内的用户端和其他的技术提供方有很多的机会的存在。

　　谢谢各位。  

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。