(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211400612.0 (22)申请日 2022.11.09 (71)申请人 深圳市唯特视科技有限公司 地址 518063 广东省深圳市南 山区粤海街 道高新区社区科技南十路6号深圳航 天科技创新研究院大厦C 501-504 (72)发明人 夏春秋　陈世淼　 (51)Int.Cl. G06T 1/20(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) (54)发明名称 基于FPGA的 图像增强方法、 装置、 头盔、 设备 及介质 (57)摘要 本发明提出一种基于FPGA的图像增强方法、 装置、 头盔、 设备及介质。 基于 FPGA的图像增强方 法， 包括： 获取目标图像； 获取图像增强神经网络 模型， 通过图像增强神经网络模 型对目标图像进 行增强处理， 得到增强后的目标图像； 其中， 增强 处理包括： 根据目标图像和图像增强神经网络模 型进行基于 FPGA的卷积循环处理， 直至 卷积循环 处理的循环次数等于图像增强神经网络模型中 所有卷积层的层数， 得到目标特征图； 根据目标 特征图对目标图像进行增强， 得到增强后的目标 图像。 本发明有利于提高图像增强处 理的速度。 权利要求书4页 说明书23页 附图5页 CN 115456860 A 2022.12.09 CN 115456860 A 1.一种基于FPGA的图像增强方法， 其特 征在于， 包括： 获取目标图像； 获取图像增强神经网络模型， 通过所述图像增强神经网络模型对所述目标图像进行增 强处理， 得到增强后的目标图像； 所述增强处 理， 包括： 根据所述目标图像和所述图像增强神经网络模型进行基于FPGA的卷积循环处理， 直至 所述卷积 循环处理的循环次数等于所述图像增强神经网络模型中所有 卷积层的层数， 得到 目标特征图； 根据所述目标 特征图对所述目标图像进行增强， 得到增强后的目标图像； 其中， 所述FPGA包括： 串行配置模块、 并行计算模块和寄存器模块， 所述串行配置模块 与所述并行计算模块连接， 所述串行配置模块与所述寄存器模块连接， 所述并行计算模块 与所述寄存器模块连接； 所述基于FPGA的卷积循环处 理， 包括： 通过所述串行配置模块响应开始信号或上一循环的中断请求信号， 从所述图像增强神 经网络模型中获取当前循环的卷积核， 以及根据所述目标图像或上一循环的目标特征图获 取当前循环的特征图， 根据所述当前循环的卷积核和所述当前循环的特征图配置所述寄存 器模块； 通过所述并行计算模块从所述寄存器模块中读取所述当前循环的卷积核和所述当前 循环的特征图， 根据所述当前循环的卷积核和所述当前循环的特征图进 行卷积计算和非线 性激活， 得到当前循环的目标 特征图以及输出当前循环的中断请求信号。 2.根据权利要求1所述的基于FPGA的图像增强方法， 其特征在于， 所述根据所述当前循 环的卷积核和所述当前循环的特 征图进行 卷积计算， 包括： 对所述图像增强神经网络模型中卷积核的权重值进行二值化， 根据缩放因子和二值化 的权重值， 得到二值化的卷积核， 其中， 所述缩放因子为所述卷积核中权重值的绝对值的平 均值； 根据所述 二值化的卷积核和所述当前循环的特 征图进行 卷积计算。 3.根据权利要求1所述的基于FPGA的图像增强方法， 其特征在于， 所述从所述图像增强 神经网络模型中获取当前循环的卷积核， 包括： 通过所述串行配置模块对所述中断请求信号进行计数， 得到中断次数； 根据所述中断次数从所述图像增强神经网络模型中获取相应的卷积层， 并根据 所述相 应的卷积层确定所述当前循环的卷积核。 4.根据权利要求1所述的基于FPGA的图像增强方法， 其特征在于， 所述根据所述当前循 环的卷积核和所述当前循环的特 征图配置所述寄存器模块， 包括： 按照预设权重值顺序， 将所述当前循环的卷积核中的权重值依次写入所述寄存器模块 中， 其中， 所述预设权重值顺序为： 根据卷积核序号、 通道序号、 列序号以及行序号自初始的 权重值开始对权重值进行排序， 当所述权重值的卷积核序号小于所述权重值的最大卷积核 序号时使所述权重值的卷积核序号自加1， 当所述权重值的卷积核序号增加至所述权重值 的最大卷积核序号时使所述权重值的通道序号自加1并重置所述权重值的卷积核序号， 当 所述权重值的通道序号增加至所述权重值的最大通道序号时使所述权重值的列序号自加1权　利　要　求　书 1/4 页 2 CN 115456860 A 2并重置所述权重值的通道序号以及重置所述权重值的卷积核序号， 当所述权重值的列序号 增加至所述权重值的最大列序号时使 所述权重值的行序号自加1并重置所述权重值的列序 号、 重置所述权 重值的通道序号以及重 置所述权 重值的卷积核序号； 按照预设特征值顺序， 将所述当前循环的特征图中的特征值写入所述寄存器模块中， 其中， 所述预设特征值顺序为： 根据通道序号、 列序号、 卷积核序号以及行序号自初始的特 征值开始对特征值进 行排序， 当所述特征值的通道序号小于所述特征值的最大通道序号时 则使所述特征值的通道序号自加1， 当所述特征值的通道序号增加至所述特征值的最大通 道序号时使所述特征值的列序号自加1并重置所述特征值的通道序号， 当所述特征值的列 序号增加至所述特征值的最大列序号时使 所述特征值的特征图序号自加1并重置所述特征 值的列序号以及重置所述特征值的通道序号， 当所述特征值的特征图序号增加至所述特征 值的最大特征图序号时使特征值的行序号自加1并重置所述特征值的特征图序号、 重置所 述特征值的列序号以及重 置所述特 征值的通道序号。 5.根据权利要求4所述的基于FPGA的图像增强方法， 其特征在于， 所述从所述寄存器模 块中读取所述当前循环的卷积核和所述当前循环的特征图， 根据所述当前循环的卷积核和 所述当前循环的特 征图进行 卷积计算， 包括： 存储步骤： 将所述当前循环的卷积核中的权重值和所述当前循环的特征图中的特征值 存储在所述寄存器模块的待写入寄存器单元中， 其中， 所述寄存器模块包括： 所述待写入寄 存器单元、 权重值循环移位寄存器单元和特征值循环移位寄存器单元， 所述待写入寄存器 单元与所述权重值循环移位寄存器单元连接， 所述待写入寄存器单元与所述特征值循环移 位寄存器单 元连接； 读取步骤： 依次读取所述当前循环的卷积核中的一行权重值并写入所述权重值循环移 位寄存器单元中， 依次读取所述当前循环的特征图的特征值并写入所述特征值循环移位寄 存器单元中， 其中， 所述特征值循环移位寄存器单元中的特征值的数量为所述当前循环的 卷积核宽度与所述当前循环的卷积核通道数量的乘积， 且所述特征值循环移 位寄存器单元 中的特征值与所述权 重值循环 移位寄存器单 元中的权 重值具有卷积对应关系； 计算步骤： 对所述权重值循环移位寄存器单元中的权重值进行一次或多次移位循环， 当所述权重值循环移 位寄存器单元的移 位循环次数为n+1时则对所述特征值循环移位寄存 器单元中的特征值进 行一次移位循环， 当所述权重值循环移 位寄存器单元的移 位循环次数 为m+1时则从所述待写入寄存器单元中获取新特征值并将所述新特征值写入所述特征值循 环移位寄存器单元中， 当获取所述新特征值的次数为所述特征图的宽度与所述卷积核的宽 度之差除以步长后再加1得到的值时则清空所述权重值循环移 位寄存器单元和所述权重值 循环移位寄存器单元中的数据并返回至所述读取步骤， 其中， n为所述当前循环的卷积核 数 量的整数倍， m为所述权重值循环移 位寄存器单元中权重值数量的整 数倍， 所述新特征值的 数量根据卷积步长进 行确定， 以及在将所述新特征值写入特征值循环移 位寄存器单元中时 通过选择器断开寄存器元件的输入端和输出端之间的连接之后再写入所述新特征值并删 除与所述新特征值数量相等数量的原特征值， 所述特征值循环移位寄存器单元包括所述选 择器和所述寄存器元件， 所述选择器的输出端包括第一输入端和第二输入端， 所述寄存器 元件的输出端包括第一输出端和 第二输出端， 所述选择器的输出端与所述寄存器元件的输 入端连接， 所述选择器的第一输入端与所述寄存器元件的第一输出端连接；权　利　要　求　书 2/4 页 3 CN 115456860 A 3