目标部署平台为课题组自研视觉芯片，包含图像传感器、读出电路和处理器两大部分。其中读出电路与处理器在单硅片上layout制作，通过3D堆叠技术与图像传感器互联集成，形成完整的片上系统。

处理器部分采用异构计算架构，包含以下3个计算核心：

• MPU：基于MIPS指令集的微控制器，负责运行全局主函数，完成数据搬运调度及控制异构核心的启停
• Vector Processor(VP)：基于自定义指令集的向量处理器，负责向量运算与数据重排等任务
• NN Processor(NNP)：自研的”卷积-矩阵乘”兼容的脉动阵列加速器([论文][pdf])，专门用于加速神经网络中的计算密集型任务

面向该视觉芯片进行算法部署，需着重克服以下三项硬件限制：

• 算子类型限制：NNP支持特定配置的卷积运算和特定窗口的池化运算，不支持除ReLU外的激活函数及量化矩阵乘法。因此，算法设计必须规避或等效替换不支持的算子类型。
• 存储容量限制：芯片主打片上高效计算，未配置高功耗的外部存储接口。所有模型参数与中间特征图必须驻留在容量仅为 4MB 的全局数据存储器(Data Memory, DM)中，严禁溢出。
• 计算精度限制：处理器采用W8A8B16纯整数推理数据流(权重和激活采用INT8、偏置采用INT16)。24bit累加器在进行乘移位再量化前需进行INT16截断。模型需经过严格量化，以避免数据截断引发严重的精度坍塌。

2.1.SiamVC网络结构

鉴于芯片算子库仅支持纯 CNN 架构，本项目选用经典且高效的孪生网络范式。提出的 SiamVC (Siamese Network for Vision Chip) 架构如图 1 所示，包含两个参数共享的骨干网络(函数 $\phi$)：

• 模板分支：输入 128×128 分辨率的目标图像 $z$
• 跟踪分支：输入 256×256 分辨率的搜索区域 $x$

两分支输出的特征图经过逐像素互相关运算(函数 $f$)生成相似度得分图 $s=f(\phi(z),\phi(x))$，随后输入至前景-背景分类分支(函数 $g_{cls}$)与坐标偏移回归分支(函数 $g_{ltrb}$)，最终得到预测结果 $g_{cls}(s)$ 和 $g_{ltrb}(s)$。

为满足目标硬件平台的约束，SiamVC 进行了针对性设计：

• 采用裁剪后的MobileNetV2作为骨干网络，确保所有算子均在硬件支持列表内
• 设计基于深度可分离卷积的 Anchor-free 跟踪头，规避 NMS 等难以在阵列上加速的复杂后处理
• 将逐像素互相关过程中的矩阵乘运算等效替换为 NNP 支持的 1×1 卷积操作

评估表明，SiamVC 参数量仅为 325kB，计算需求降至 0.11 GOPS，满足硬件部署标准。

2.2.基于输出特征的知识蒸馏

为弥补模型极度轻量化与低比特量化导致的精度损失，本项目引入了基于输出特征的知识蒸馏策略(如图 2 所示)。通过构建参数规模更大的教师网络(SiamVC-T)，以其输出特征与学生网络(SiamVC-S)预测特征的均方误差(MSE)作为软标签损失，指导学生网络训练。

总损失函数由硬损失(交叉熵与 IoU 损失)与软损失加权构成：

• 总体损失：$L_{total}=\alpha L_{hard}+(1-\alpha)L_{soft}$
• 硬损失：$L_{hard}=L_{CE}+L_{IOU}$
  • 前景-背景分类交叉熵：$L_{CE}(p,q)=-\sum p(x)\log (q(x))$
  • 坐标回归 IoU 损失：$L_{IOU}(A,B)=1-IOU=1-\frac{A\cap B}{A\cup B}$
• 软损失：$L_{soft}=L_{MSE_{cls}}+L_{MSE_{loc}}$
  • 特征级 MSE 损失：$L_{MSE}(G,Y)=\frac{1}{N}\sum\limits_{i=1}^{N}(G_{i}-Y_{i})^{2}$

在 OTB100 与 VOT2019 数据集上的评估结果(图 3、图 4)表明：

• 知识蒸馏策略使 SiamVC-S 在 OTB100 数据集上的跟踪成功率提升 2.1%，准确率提升 3.5%(分别达到 61.7% 与 83.0%)。
• 在 VOT2019 数据集上，该模型能在更小的参数量与计算开销下，达到超越 LightTrack 等前沿轻量化算法的精度表现。

2.3.跟踪结果可视化

各模型版本的实际跟踪效果如下。图例：青色为教师网络 SiamVC-T，橙色为学生网络 SiamVC-S，红色为蒸馏版本 SiamVC-S(KD)，粉色为量化+蒸馏版本 SiamVC-S(PTQ-KD)，绿色为 Ground Truth 标签。

结果显示，算法在镜头抖动 (1)、同类干扰 (2)、严重遮挡 (3)、尺度缩放 (4)、旋转 (5,6)、低分辨率 (7) 及形变 (8) 等极端场景下均表现出良好的鲁棒性。

算法部署依赖于图 5 所示的视觉芯片定制编译工具链，涵盖以下核心流程：

• 模型量化：对接 ONNX 格式模型，执行解析与 PTQ 量化，生成芯片定制格式的算子架构与参数文件。
• 算法级验证：在 MATLAB 中对芯片纯整数推理数据流进行高精度建模，提前评估硬件理论精度，并作为后端 VCS 仿真验证的比对基准。
• 编译器前端：执行图优化(如算子融合)、节点信息聚合与内存地址分配。
• 编译器后端：生成控制 MPU 调度的 C 语言主函数，以及 NNP 计算阵列的配置寄存器指令。
• (可选) VP 汇编：对于不支持的非线性算子或特定数据重排逻辑，需手写 VP 汇编程序完成。
• RTL 仿真验证：将 MCU/VP/NNP 程序交叉编译为二进制文件进行 VCS 仿真，比对计算结果。
• 板级测试：在 RTL 仿真通过后，烧录至视觉芯片测试板进行实测。