如题。使用一两周后,发现LLM响应速度严重滞后,经常出现长时间等待无响应的情况,严重影响正常使用体验。
随后我在官方讨论区及用户群反馈该问题,发现大量用户均反映相同情况(卡顿严重、响应超时),确认此为平台普遍性问题,非我个人网络或设备原因。
在这里插入图片描述
为进一步验证问题根源,我自行开发了对比测试页面,与阿里云免费版API进行同条件测试(因未能订阅到阿里云coding plan,暂未做同档次付费服务对比)。
测试结果显示:在相同网络环境下,火山引擎 —方舟 Coding Plan平台响应速度显著慢于阿里百练平台(免费token额度)。具体数据截图如下

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述这么对比,看着DS V3的响应速度还可以 (难道是用的人少,一般写代码也不会用选它吧)
在这里插入图片描述

如上的测试工具地址为:https://gitee.com/ericluo1008/llm-speed-test LLMTest
在这里插入图片描述

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐