‹ 上一集 ☰ 目录 EP12 · 端侧性能 下一集 ›
EP12 · 端侧与性能

端侧:带着镣铐跳舞

云端比谁快,端侧比谁省——核心指标是计算量(FLOPs),不是参数量

延迟分解模拟:堆叠柱按排队、推理、传输三段展示总延迟,虚线是实时交互的 100 毫秒预算。调整量化精度、带宽、队列与卸载策略,观察哪一段在拖后腿。

量化精度

20 Mbps
2

读数

—
—
—
—
—

索引治查询、带宽治传输、队列治排队——都治不了推理。先量延迟花在哪,再动刀。