应用

技术

物联网世界 >> 物联网新闻 >> 物联网热点新闻
企业注册个人注册登录

走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

2023-11-14 14:28 美格智能

导读:近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展现出卓越的边缘端大模型部署能力。

近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展现出卓越的边缘端大模型部署能力。

image.png

▌构建智算底座,加速大模型端侧部署

大模型和生成式AI的浪潮席卷全球,带来人工智能新纪元。大模型诞生之初主要是与云端绑定,而随着应用场景的拓展,AI开始赋能千行百业,大模型也需要在越来越多的终端设备上运行。如果说生成式AI是正在高速向前行驶的列车,那算力就是燃料。终端侧AI的落地应用,离不开硬件和设备算力的升级。

今年,高通推出了AI算力芯片QCS8550,整合了强大的NPU算力和边缘侧AI处理技术、Wi-Fi 7连接技术以及增强型图形和视频处理能力,提供高速、低功耗的AI计算平台,为终端侧AI赋能。

image.png

基于高通QCS8550芯片平台,美格智能推出了高算力AI模组SNM970综合AI算力高达48Tops,并支持混合精度计算,为IoT设备打造全新的智算底座。高算力AI模组是承载端侧AI无限创造空间的最佳形式,为海量碎片化场景提供稳定的通信能力和强大的边缘算力,让终端开发者能够基于标准化的模组完成低成本、短流程的产品设计和制造,降低大模型的开发和使用成本。

另一方面,AI从芯片到应用还需要解决跨平台迁移、异构芯片效率丢失、碎片化的场景需求等挑战。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链,能够全面提升边缘设备的AI性能和模型执行效率,为AI项目在丰富场景中快速落地提供专业支持,进一步推动AI应用的终端部署。

此次,美格智能高算力AI模组产品团队携手阿加犀,在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型,成功验证了算力模组作为未来大模型边缘AI算力底座的通用性,对边缘端生成式AI的支持进一步成熟,有望将生成式AI拓展至更多领域。

image.png

美格智能提供具备出色能效比、强大的计算能力的算力模组,结合阿加犀独有的AI工具链带来的领先的SoC性能调度能力,二者强强联合发挥出模组的极致性能,让多个参数达70亿的语言大模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,都能在算力模组上保持高效运行。

▌高算力AI模组,让AI触手可及

美格智能高算力AI模组产品专为终端侧、边缘侧AI应用设计,依靠强大的软硬件一体研发能力,美格智能持续推进高算力AI模组的AI硬件不断升级,至今已经历经多代产品演进,涵盖入门级、中端、旗舰级多层次产品,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,对应AI算力覆盖14Tops~48Tops。image.png

同时,美格智能研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平,相关算力产品在各类核心场景大规模应用,让智慧零售、智能机器人、智慧交通、智慧农业、智能制造等各行各业快速于边缘端部署大模型,以AI驱动业务创新。

针对AI边缘计算领域,美格智能基于高算力AI模组SNM972,助力客户打造SoC阵列服务器产品。该模组采用MiniPCIe封装方式,支持16GB LPDDR5X + 256GB UFS 4.0内存,并支持混合精度计算,支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架,可轻松赋能各类AI场景。

image.png

方案中每个算力节点采用刀片+阵列式设计,内部实现模块化及热插拔设计,可以实现不停机维护。最高可配置80路算力模组,单颗模组内部支持Android虚拟化,可虚拟出多路计算单元,更好地进行算力配置,为实时互动云计算、边缘AI云计算、云渲染等业务场景提供最佳算力底座。

AI正在改变世界,美格智能始终以市场需求为导向,与合作伙伴紧密合作,围绕高算力AI模组打造更多适配行业的解决方案,拉近大模型和应用之间的距离,把握智慧先机,实现让AI触手可及的目标,赋能数字经济发展。