近两年,大模型的发展让AI硬件市场发生了一些明显变化。早期讨论更多围绕GPU算力、模型参数规模以及云端训练资源展开,而随着越来越多企业开始尝试将大模型应用到实际业务中,开发者也逐渐思考和尝试如何更方便地在本地完成模型部署、应用开发和验证,而不是长期依赖云端模型。这种需求变化,也催生了桌面AI工作站这一新的产品形态。

OrangePi去年推出的AI Studio和AI Studio Pro,就是应这个需求而设计的。很多人第一次看到它,会把它当成一块性能更高的AI开发板。但实际上它已经是传统开发板的next level,更接近一台面向AI开发者的桌面AI算力工作站。它不是服务器的小型化,也不是开发板的大型化,而是试图提供一种新的AI开发平台形态。

从开发板到AI工作站,产品定位发生了变化

OrangePi过去几年推出了多款AI开发板,例如AIpro系列,主要面向嵌入式开发、机器人、视觉算法验证、高校教学等场景,最大特点是兼顾AI算力与丰富的硬件接口,方便开发者连接摄像头、传感器和各种外围设备完成原型开发。

AI Studio系列则明显走向了另一条路线。它的产品重心已经转向AI应用开发。AI Studio搭载单颗Atlas 310P、176TOPS INT8算力,AI Studio Pro则采用双Atlas 310P,算力352TOPS,96GB/192GB大容量LPDDR4X内存配置,更强调本地模型部署、推理和AI开发环境。

也就是说,它更关注的是开发者每天真正使用AI的工作流程,而不是GPIO数量或者外设接口是否丰富。

很多AI开发者日常更多是在进行模型部署、Agent开发、RAG知识库搭建、多模态应用验证等工作,一台能够长期稳定运行、本地完成开发和测试的设备,比一块强调外设扩展能力的开发板更符合实际需求。

AI Studio真正值得关注的不只是算力

很多人看AI硬件性能怎么样首先会比较TOPS数字。352TOPS确实能够直观反映AI推理能力,但对于今天的大模型开发而言,仅有算力已经不足以决定开发体验。

AI Studio系列有几个值得关注的特点。

首先是大容量内存。随着模型规模不断增加,内存容量越来越成为影响本地部署的重要因素。较大内存配置意味着可以适配更多模型,也能够支持更复杂的AI应用开发流程。

其次是Atlas 310P本身的定位。Atlas 310P采用7nm工艺,集成达芬奇AI Core、Vector Core,LPDDR4X 4266MT/s内存,理论内存带宽约204.8GB/s,更适合长时间推理任务,而不是传统意义上的桌面计算。

因此,AI Studio系列更强调持续运行能力,而不是追求瞬时峰值性能。

另一个是它的软件生态。近年来,围绕昇腾的软件栈,包括MindSpore、CANN等开发环境已经形成相对完整的工具链。对于做国产AI应用开发、迁移和适配的团队,软件生态跟硬件参数本身同样重要。

与Jetson AGX Orin相比,AI Studio的定位有什么不同?

不少开发者会把AI Studio与Jetson AGX Orin进行比较。实际上两者确实存在一定重叠,但定位并不完全相同。

Jetson长期深耕机器人、自动驾驶、工业视觉等嵌入式AI领域,优势来自成熟的CUDA生态以及丰富的国际开发者社区。大量开源项目、AI框架和机器人软件已经围绕CUDA进行了长期优化。AI Studio则更强调国产AI软件生态以及本地AI开发环境。因此,两者更像是两条不同技术路线,而不是简单意义上的替代。

AI Studio更适合哪些用户?

从产品定位来看,AI Studio系列并不是一款面向所有开发者的设备,它更适合以下几类用户:

1开展本地大模型开发和应用验证的AI开发团队。

2希望建设人工智能实验平台的高校和科研机构。

3需要部署企业知识库、RAG应用、多模态分析等本地AI系统的企业技术部门。

4围绕国产AI软件栈开展开发、迁移和适配工作的开发者。

对于这些用户而言,一台桌面AI工作站能够提供比开发板更完整的开发环境,也比服务器具有更低的部署门槛。

而对于需要大量GPIO接口、底层驱动开发或者嵌入式原型验证的项目,传统开发板仍然更加合适。

国产AI开发平台正在进入新的阶段

如果把时间拉长来看,AI Studio系列的意义可能不仅仅是一款新产品。过去几年,国产AI硬件更多关注如何提供算力,而随着AI应用逐渐落地,开发者开始更加关注开发效率、部署成本以及软件生态。

从AIpro系列开发板,到AI Studio桌面AI工作站,可以看到OrangePi产品路线正在发生变化,围绕AI应用开发构建完整的平台能力开始成为新的方向。

对于整个国产AI生态而言,这种变化同样具有参考意义。未来,开发者可能不再只是在开发板和AI服务器之间做选择,而是拥有更多适合不同开发阶段、不同应用场景的AI开发平台。

如果你已经体验过本地大模型部署,或者正在选择AI开发平台,欢迎分享你的实践经验。你更看重算力、软件生态,还是部署便利性?对于桌面AI工作站这种新形态,你认为它会成为未来AI开发的主流选择之一吗?欢迎一起讨论。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐