高通公司的AI居品时期中国区慎重东谈主万卫星发表了对于“鼓吹末端侧生成式AI期间到来”的主题演讲世博体育(中国)官方网站。他强调了末端侧生成式AI期间的到来。

4月17日，中国AIGC产业峰会在北京召开。本次峰会以“你好，新应用”为主题，邀请到生成式AI应用、AI基础秩序和模子层的代表企业，一同共享对最重生成式AI近况与趋势的观点。在本次峰会上，高通公司的AI居品时期中国区慎重东谈主万卫星发表了对于“鼓吹末端侧生成式AI期间到来”的主题演讲。他强调了末端侧生成式AI期间的到来，并提到高通发布的第三代骁龙8和骁龙X Elite平台一经或行将赋能强大AI手机和AI PC居品。万卫星谨防先容了高通AI引擎过甚构成部分，还展示了高通异构谋略智力的端到端用例。此外，万卫星也先容了高通AI软件栈和AI Hub，这些将极大地升迁诞生者在模子诞生、优化和部署方面的遵守，进而有助于创造出更多立异的AI应用。

万卫星合计，末端侧生成式AI期间一经到来，高通在2023年10月发布的第三代骁龙8和骁龙X Elite这两款居品上，一经竣事了将大言语模子完整的搬到了端侧运行，且一经或行将赋能强大的AI手机和AI PC。在手机方面，客岁年底和本年年头强大OEM厂商发布的Android旗舰居品，包括三星、小米、荣耀、OPPO和vivo等，齐一经具备了在端侧运行生成式AI的智力。

基于图像语义明白的多模态大模子发展是当下的要紧趋势，在本年2月的MWC巴塞罗当时间，高通也展示了全球首个在Android手机上运行的多模态大模子（LMM）。具体来说，咱们在搭载第三代骁龙8的参考狡计上运行了基于图像和文本输入、卓越70亿参数的大言语和视觉助理大模子（LLaVa），可基于图像输入生成多轮对话。具有言语明白和视觉明白智力的多模态大模子不详赋能诸多用例，举例识别和商榷复杂的视觉图案、物体和场景。设念念一下，有视觉遮拦的用户就不错在末端侧哄骗这一时期，竣事在城市内的导航。同期，高通在骁龙X Elite上也演示了全球首个在Windows PC上运行的音频推理多模态大模子。

接下来望望高通行动芯片厂商，怎样知足生成式AI各样化的条目。不同范围的生成式AI用例具有各样化的条目，包括按需型、抓续型和泛在型用例，其背后所需的AI模子亦然天壤悬隔，很难有一种不错齐备适用总计生成式AI用例或非生成式AI用例。比如，有些用例需要进行划定适度，对时延比拟明锐；有些用例是抓续型的，对算力和功耗比拟明锐；有些用例需要历久在线，对功耗尤其明锐。

高通公司推出的高通AI引擎便是最初的异构谋略系统，它包含多个处理器组件，包括通用硬件加快单位CPU和GPU、特大地向高算力需求的NPU，以及高通传感器核心，它们在AI推理历程中演出不同扮装。前边提到的划定彭胀的按需型任务，不错运行在CPU或GPU上；对AI算力条目比拟高的抓续型任务，举例影像处理、生成式AI等，齐不错运行在NPU上；对于需要历久在线、对功耗尤其明锐的任务，不错运行在高通传感器核心上。

我来为公共浮浅先容一下高通NPU的演进阶梯，这口舌常典型的由表层用例驱动底层硬件狡计的案例。2015年及更早之前，AI主要用于一些比拟浮浅的图像识别、图像分类用例，是以咱们给NPU成立了标量和向量加快器。到2016—2022年间，谋略照相看法运行流行，咱们把有计划方针从图像分类摇荡到了AI谋略、AI视频等等，包括对当然言语明白和处理的缓助，以及对Transformer模子的缓助，咱们给NPU硬件在标量和向量加快器的基础之上，加多了张量加快器。2023年，大模子热度很高，咱们在业内率先完成了端侧的大模子缓助，给NPU成立了特别的Transformer加快模块。2024年，咱们会要点缓助多模态模子的端侧化，以及缓助更高参数目的大言语模子在端侧的部署。

接下来为公共更长远的先容高通Hexagon NPU。第三代骁龙8上的Hexagon NPU不仅进行了微架构升级，还特别成立了颓落的供电轨谈，以竣事最好的能效。咱们还通过微切片推理时期缓助收罗深度交融，获得更极致的性能。此外Hexagon NPU还集成了特别为生成式AI打造的Transformer加快模块，更高的DDR传输带宽，更高的IP主频等先进时期。总计这些时期贯串合，使得Hexagon NPU成为面向末端侧生成式AI的行业最初NPU。

接下来看一个具体案例，虚构化身AI助手——这口舌常典型的充分哄骗高通异构谋略智力的端到端用例。它包括强大复杂AI使命负载，开始需要自动语音识别（ASR）模子慎重将语消息号转成文本，这部单干作负载不错跑在高通传感器核心上；接下来会由大言语模子慎重处理文本输入，生成复兴和对话，这部单干作负载不错跑在NPU上；再通过文本生谚语音（TTS）模子把文本输出转造谚语消息号，这部分负载不错跑在CPU；终末由GPU模块慎重基于语音输出同步完成虚构化身渲染，这么就能得到一个端到端的用语音来交互的虚构化身助手用例。

前边先容了硬件时期，接下来共享一下高通平台的AI性能。在智高东谈主机范围，第三代骁龙8无论是在鲁众人AIMark V4.3、安兔兔AITuTu这些AI基准测试的总分方面，如故在MLCommon MLPerf推理：Mobile V3.1的具体模子推感性能测试方面，发扬齐远超于竞品。在PC方面，骁龙X Elite在面向Windows的UL Procyon AI推理基准测试中，发扬也卓越了基于X86架构的竞品。

高通除了提供最初的硬件平台狡计除外，也推出了一个跨平台、跨末端、跨操作系统的息争软件栈，叫作念高通AI软件栈（Qualcomm AI Stack）。高通AI软件栈缓助总计当今主流的查验框架和彭胀环境，咱们还为诞生者提供不同级别、不同端倪的优化接口，以及完整的编译器具链，让诞生者不错在骁龙平台上愈加高效的完成模子的诞生、优化和部署。值得强调的是，高通AI软件栈是一个跨平台、跨末端的息争惩办决策，是以诞生者惟有在高通和骁龙的一个平台上完成模子的优化部署使命，便不错相当绵薄的将这部单干作移动到高通和骁龙的其他总计居品上。

本年MWC巴塞罗当时间，高通发布了相当分量级的居品，高通AI Hub（Qualcomm AI Hub）。该居品面向第三方诞生者和合营伙伴，不错匡助诞生者愈加充分的哄骗高通和骁龙底层芯片的硬件算力，诞生出我方的立异AI应用。哄骗高通AI Hub进行应用诞生的历程就像“把大象塞进雪柜”相通浮浅。第一步，凭证用例选择所需模子；第二步，选择需要部署的高通或骁龙平台；第三步，只需要写几行剧本代码，就不错完成总计这个词模子部署，在末端侧看到应用或算法的运作恶果。

当今，高通AI Hub一经缓助卓越100个模子，其中有公共比拟关切的生成式AI模子，包括言语、文本和图像生成，也包括传统AI模子，举例图像识别、图像分割，当然言语明白、当然言语处理等等。具体的模子信息，接待公共探询高通AI Hub网站（AIHUB.QUALCOMM.COM）进行查询。

终末回想一下高通的AI最初上风。第一，高通具备无与伦比的末端侧AI性能；第二世博体育(中国)官方网站，高通具备顶尖的异构谋略智力，使AI智力不详勾通总计这个词SoC，将CPU、GPU、NPU和高通传感器核心的智力齐充分开释给应用诞生者；第三，咱们提供可扩展的AI软件器具，即前边提到的高通AI软件栈等；终末，咱们不错缓助平常的生态系统和AI模子。