实测资料分享
来源实测|视觉模型加速,要区分解码速度和完整耗时
本篇整理他人的测试资料,过程与结论来自原始来源;不代表发布者亲自完成测试。
原资料的结论
原作者报告:端侧最高解码加速3.13倍、端到端2.62倍;H100最高分别2.66倍和2.27倍。草稿模型增加约2.8亿参数。以上是来源的特定设置与最高值,不是普遍保证。
- 测试对象
- LFM2.5-VL-DSpark
- 测试场景
- 视觉语言模型推理;依据来源作者测试
- 测试版本
- LFM2.5-VL-3B + experimental DSpark
原资料怎么测的
原作者比较加入草稿模型前后的推理,分别报告解码与端到端指标,覆盖端侧和H100。具体配置、输入及运行方式见原文;星淬未复跑。
补充体验
星淬运营整理 · AI辅助。以下为来源资料摘要,不代表原作者入驻、平台独立复现或质量担保。
以下是Liquid AI作者公开实验的整理,星淬没有独立复现。作者于9月24日介绍给LFM2.5-VL-3B增加DSpark草稿模型,通过推测解码加速,并报告端侧与H100的测试。
阅读时应区分解码阶段加速、完整请求时间和新增内存。对图文应用来说,图像处理、输入长度和硬件都会影响最终体验。
以下是Liquid AI作者公开实验的整理,星淬没有独立复现。作者于9月24日介绍给LFM2.5-VL-3B增加DSpark草稿模型,通过推测解码加速,并报告端侧与H100的测试。
阅读时应区分解码阶段加速、完整请求时间和新增内存。对图文应用来说,图像处理、输入长度和硬件都会影响最终体验。
限制与未验证的情况
实验性方案;输入、批量和硬件变化可能改变收益。未获得星淬独立运行记录,不计为本站亲测。
AI 辅助整理,由发布者核对后分享;请核对事实与不同观点,不代表各方已达成共识。
查看外部作品或体验入口让想法继续往前
有了具体目标,再按需要发起合作。
讨论
分享者想聊你希望进一步了解哪项使用条件或限制?
还没有回复,欢迎展开讨论。