云端比谁快,端侧比谁省——核心指标是计算量(FLOPs),不是参数量
延迟分解模拟:堆叠柱按排队、推理、传输三段展示总延迟,虚线是实时交互的 100 毫秒预算。调整量化精度、带宽、队列与卸载策略,观察哪一段在拖后腿。
量化精度
读数
索引治查询、带宽治传输、队列治排队——都治不了推理。先量延迟花在哪,再动刀。