美格智能成功在高算力AI模组上运行一系列大语言模型

　　近日，美格智能发挥软硬件一体协同开发能力，融合阿加犀卓越的AI优化部署技术，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展现出卓越的边缘端大模型部署能力。

　　▌构建智算底座，加速大模型端侧部署

　　大模型和生成式AI的浪潮席卷全球，带来人工智能新纪元。大模型诞生之初主要是与云端绑定，而随着应用场景的拓展，AI开始赋能千行百业，大模型也需要在越来越多的终端设备上运行。如果说生成式AI是正在高速向前行驶的列车，那算力就是燃料。终端侧AI的落地应用，离不开硬件和设备算力的升级。

　　今年，高通推出了AI算力芯片QCS8550，整合了强大的NPU算力和边缘侧AI处理技术、Wi-Fi 7连接技术以及增强型图形和视频处理能力，提供高速、低功耗的AI计算平台，为终端侧AI赋能。

　　基于高通QCS8550芯片平台，美格智能推出了高算力AI模组SNM970，综合AI算力高达48Tops，并支持混合精度计算，为IoT设备打造全新的智算底座。高算力AI模组是承载端侧AI无限创造空间的最佳形式，为海量碎片化场景提供稳定的通信能力和强大的边缘算力，让终端开发者能够基于标准化的模组完成低成本、短流程的产品设计和制造，降低大模型的开发和使用成本。

　　另一方面，AI从芯片到应用还需要解决跨平台迁移、异构芯片效率丢失、碎片化的场景需求等挑战。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链，能够全面提升边缘设备的AI性能和模型执行效率，为AI项目在丰富场景中快速落地提供专业支持，进一步推动AI应用的终端部署。

　　此次，美格智能高算力AI模组产品团队携手阿加犀，在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型，成功验证了算力模组作为未来大模型边缘AI算力底座的通用性，对边缘端生成式AI的支持进一步成熟，有望将生成式AI拓展至更多领域。

　　美格智能提供具备出色能效比、强大的计算能力的算力模组，结合阿加犀独有的AI工具链带来的领先的SoC性能调度能力，二者强强联合发挥出模组的极致性能，让多个参数达70亿的语言大模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，都能在算力模组上保持高效运行。

　　▌高算力AI模组，让AI触手可及

　　美格智能高算力AI模组产品专为终端侧、边缘侧AI应用设计，依靠强大的软硬件一体研发能力，美格智能持续推进高算力AI模组的AI硬件不断升级，至今已经历经多代产品演进，涵盖入门级、中端、旗舰级多层次产品，包括SNM930、SNM950、SNM960、SNM970、SNM972等系列，对应AI算力覆盖14Tops~48Tops。

　　同时，美格智能研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平，相关算力产品在各类核心场景大规模应用，让智慧零售、智能机器人、智慧交通、智慧农业、智能制造等各行各业快速于边缘端部署大模型，以AI驱动业务创新。

　　针对AI边缘计算领域，美格智能基于高算力AI模组SNM972，助力客户打造SoC阵列服务器产品。该模组采用MiniPCIe封装方式，支持16GB LPDDR5X + 256GB UFS 4.0内存，并支持混合精度计算，支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架，可轻松赋能各类AI场景。

　　方案中每个算力节点采用刀片+阵列式设计，内部实现模块化及热插拔设计，可以实现不停机维护。最高可配置80路算力模组，单颗模组内部支持Android虚拟化，可虚拟出多路计算单元，更好地进行算力配置，为实时互动云计算、边缘AI云计算、云渲染等业务场景提供最佳算力底座。

　　AI正在改变世界，美格智能始终以市场需求为导向，与合作伙伴紧密合作，围绕高算力AI模组打造更多适配行业的解决方案，拉近大模型和应用之间的距离，把握智慧先机，实现让AI触手可及的目标，赋能数字经济发展。

　　安芯科创是一家国内芯片代理和国外品牌分销的综合服务商,公司提供芯片ic选型、蓝牙WIFI模组、进口芯片替换国产降成本等解决方案,可承接项目开发,以及元器件一站式采购服务,类型有运放芯片、电源芯片、MO芯片、蓝牙芯片、MCU芯片、二极管、三极管、电阻、电容、连接器、电感、继电器、晶振、蓝牙模组、WI模组及各类模组等电子元器件销售。（关于元器件价格请咨询在线客服黄经理：15382911663）

　　代理分销品牌有：ADI_亚德诺半导体/ALTBRA_阿尔特拉/BARROT_百瑞互联/BORN_伯恩半导体/BROADCHIP_广芯电子/COREBAI_芯佰微/DK_东科半导体/HDSC_华大半导体/holychip_芯圣/HUATECH_华泰/INFINEON_英飞凌/INTEL_英特尔/ISSI/LATTICE_莱迪思/maplesemi_美浦森/MICROCHIP_微芯/MS_瑞盟/NATION_国民技术/NEXPERIA_安世半导体/NXP_恩智浦/Panasonic_松下电器/RENESAS_瑞莎/SAMSUNG_三星/ST_意法半导体/TD_TECHCODE美国泰德半导体/TI_德州仪器/VISHAY_威世/XILINX_赛灵思/芯唐微电子等等

免责声明：部分图文来源网络，文章内容仅供参考，不构成投资建议，若内容有误或涉及侵权可联系删除。