很多人都在为AI时代的到来欢呼，但实际上AI的概念早在20世纪50年代就诞生了，并且一直在快速发展和演变。这不是什么新鲜事。
然而，几十年来，人工智能基本停留在专业领域或特定行业，远离普通用户，普通人很难真正感受到人工智能的力量。
ChatGPT最大的贡献正是将AI——，特别是生成式AI（AIGC）——带入普通人的生活。
借助ChatGPT等类似应用，任何拥有普通电脑或手机的人都可以感受到AI给我们工作、生活、娱乐休闲带来的便利。 —— 一问一答，即可得到你想要的。有了问题的答案，只需几分钟就可以完成一份精美的PPT……
另一方面，虽然此时几乎所有人都在谈论人工智能，从大型跨国公司到小型初创企业，似乎一切都在一夜之间完全聚焦于人工智能，但正如巴菲特的名言：“直到浪潮来临你才会知道”出去了。”谁在裸泳？”只有经历了最初的骚动，才能看出谁是认真做AI的，谁是真正有能力把AI做好的。
近日，英特尔举办了年度技术创新大会。 AI自然是关键词中的一个关键词。 “AI Everywhere”不仅体现在整个大会上，也体现在英特尔全系列产品和解决方案中。我们之前也讨论过这个话题。已经从不同角度讨论过很多次了。
当然，软件和硬件能力都位居全球前列的英特尔自然是最有资格谈论AI的巨头之一。
刚才提到，人工智能无处不在，从产品到技术到应用都有完全不同且丰富的场景。普通用户最能直接感受到的是AIGC，包括文声文、文声图、图声图，以及文声视频、图声视频等。
为了实现足够实用的AIGC，从强大的计算硬件到参数丰富的大型模型，从准确合理的算法到高效便捷的应用，缺一不可。
我们知道，过去AIGC主要是在云端服务器上。虽然性能、模型、算法都不是问题，但需要大量的资金投入，并且在时延、隐私等方面存在不足。
因此，AIGC越来越多地被移至终端侧，让普通PC和智能手机都可以运行AIGC，甚至可以离线执行。
英特尔中国技术部总经理高宇在接受采访时表示，在终端侧运行AIGC的研究已经取得了丰硕的成果。比如最新的13代酷睿电脑国产化后可以在70亿到180亿之间流畅运行。带参数的大型模型，尤其是70亿到130亿个参数的模型，运行得相当好。
当然，这些仍处于起步阶段。目前的优化主要针对CPU处理器。下一步将是充分利用GPU 核心显示的性能潜力。除了拥有更强的CPU和GPU算力之外，代号Meteor Lake的下一代Core Ultra还首次集成NPU单元和专用AI加速器，峰值算力超过11TOPS。三者结合起来可以取得更好的效果。
关于AIGC应用在PC端运行的具体实现，高宇举了一个例子。 BigDL-LLM是Intel正在构建的开源框架，专门针对Intel硬件的低位量化而设计，支持INT3、INT4、INT5、INT8等各种低位量化。位数据准确性、更好的性能和更少的内存使用。
基于此框架，使用i9-12900K处理器，仅开启4个核心即可运行ChatGLM2 60亿参数模型。生成效果非常快。当8个P核心和8个E核心全部开启时，效果甚至更快。输出性能达到每个Token约47毫秒，并不弱于很多云端计算。
之所以比较这两种情况，是因为有时需要将所有算力投入到AI模型的计算上，有时又可能要兼顾其他任务。
可以看到，无论什么情况，Intel PC端都已经可以很好地完成相应的AI工作，并提供令人满意的计算能力和效率。
此外，英特尔酷睿处理器在LLaMA2 130亿参数大语言模型和StarCoder 155亿参数代码大模型上也能取得良好的运行速度。
切换到Arc GPU 显卡后，英特尔硬件运行端侧AI 的速度同样快，甚至更快。无论是ChatGLM2 60 亿个参数、LLaMA2 130 亿个参数还是StarCoder 155 亿个参数都是如此。在ChatGLM2模型中，甚至可以缩短到20毫秒以下。
当然，上面提到的大尺寸车型可能距离普通人还是有点遥远。任何技术想要广泛普及，关键是要颠覆用户个人的工作、生活、娱乐体验，人工智能当然也不例外。
在高宇看来，基于上述大模型，AI在设备端的典型应用还是相当丰富的，而且会越来越多，有时效果会比运行在云端更好。
例如超级个人助理可以通过低比特量化在PC端取得更好的效果。
比如文档处理，包括提炼中心思想、纠正语法错误等，不仅可以在PC端良好运行，还有助于保护个人隐私和数据安全。
另一个例子是流行的Stable Diffusion 及其衍生模型Vincent Picture 和Vincent Video 应用程序。 PC端的算力也足够了。
使用Arc A730M这样的笔记本独立显卡，您可以在几秒钟内完成高质量的文本绘图、图形绘制、图像风格转换等，从而大大节省工作量，更专注于创造力。
这足以证明，普通笔记本在终端侧运行大型机型，使用普通独立显卡甚至集成显卡，依然可以获得足够快的响应速度和良好的体验。当然，这也得益于Intel的特殊优化。
当然，归根到底，AIGC应用在PC端的流行离不开足够好用的生态软件。
一方面，这样的软件可以来自各种商业软件。他们本身可以集成中小型大型语言模型，并提供各种AIGC内容。一些创意软件甚至可以集成稳定扩散。
另一方面，各PC OEM品牌厂商可以将专门开发和优化的AIGC软件集成到自己的计算机中并提供预装给用户，使AIGC真正可用。
当然，在客户端运行AIGC并不是万能的。一是计算能力不如云强大，二是内存有限。
目前主流的内存容量还是16GB。即使明年左右32GB普及，能容忍的模型参数数量也是有限的（小于130亿），需要低位处理，比如将FP16转换为INT4。幸运的是，在大型语言模型中，回答问题的质量只会略微下降个位数，而且Diffusion 模型中的参数也不是很大，因此可以继续以FP16 精度运行。
事实上，尽管人工智能研究已经取得了相当多的成果，并且未来必然会影响到每个行业、每个人，但人工智能仍处于早期阶段。各种人工智能工作负载涉及不同的模型大小、模型类型和整体基础设施。复杂性还需要能够适应云端、设备端、混合环境等不同环境，需要不断探索和优化。
我相信，随着像英特尔这样有实力的大公司不仅在AI应用上取得突破，尤其是把越来越多的AIGC应用带到终端侧，让越来越多的人感受到AI的魅力，它必然会渗透到我们的生活中。工作和生活更加广泛、细致，成为人们日常生活中不可或缺的一部分，甚至在不知不觉中享受着人工智能带来的便利。
这就是科技造福人类的本源。
