(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210022060.8 (22)申请日 2022.01.10 (71)申请人 上海影创信息科技有限公司 地址 200120 上海市浦东 新区自由贸易试 验区芳春路40 0号1幢301-462室 (72)发明人 耿志远　杜逢博　蔡宝军　 (74)专利代理 机构 上海段和段律师事务所 31334 代理人 李佳俊　郭国中 (51)Int.Cl. G06F 16/29(2019.01) G06F 16/25(2019.01) G06F 16/23(2019.01) (54)发明名称 增强式SLAM重定位方法、 系统、 介质及虚拟 设备 (57)摘要 本发明提供了一种增强式SLAM重定位方法、 系统、 介质及虚拟设备， 包括： 步骤S1： 多客户端 通过同时定位与地图构建使得每个客户端独立 完成定位和环 境地图构建， 并将地图信息发送至 相应的边缘服务器； 步骤S2： 边缘服务器基于获 取的各客户端构建的地图信息构建相应的局部 子地图， 并将多个局部子地图合并为区域子地 图； 步骤S3： 将区域子地图上传至云端主 服务器， 云端主服务器将多个区域子地图合并为全局的 大规模地图； 重复触发步骤S1至步骤S3， 不断扩 充云端服务端地图信息； 步骤S4： 根据客户端的 需求， 云端主服务器向客户端对应的边缘服务器 分发地图信息， 实现多客户端之间的协作。 权利要求书2页 说明书9页 附图1页 CN 114398458 A 2022.04.26 CN 114398458 A 1.一种基于云 ‑边架构的增强式SLAM 重定位方法， 其特 征在于， 包括： 步骤S1： 多客户端通过同时定位与地图构建使得每个客户端独立完成定位和环境地图 构建， 并将地图信息发送至相应的边 缘服务器； 步骤S2： 边缘服务器基于获取的各客户端构建的地图信息构建相应的局部子地图， 并 将多个局部 子地图合并为区域子地图； 步骤S3： 将区域子地图上传至云端主服务器， 云端主服务器将多个区域子地图合并为 全局的大规模地图； 重复触发步骤S1至步骤S3， 不断扩充云端服 务端地图信息； 步骤S4： 根据客户端的需求， 云端主服务器向客户端对应的边缘服务器分发地图信息， 实现多客户端之间的协作。 2.根据权利要求1所述的基于云 ‑边架构的增 强式SLAM重定位方法， 其特征在于， 所述 步骤S1采用： 步骤S1.1： 客户端利用跟踪模块估计相机的帧间运动， 并决定是否插入关键帧； 当插入 关键帧时， 则获得新增的关键帧和地图点； 步骤S1.2： 客户端利用局部建图模块维护局部地图， 并执行局部捆集调整优化局部地 图， 记录局部地图中所有更改的关键帧和地图点。 3.根据权利要求1所述的基于云 ‑边架构的增 强式SLAM重定位方法， 其特征在于， 所述 步骤S3采用： 将区域子地图上传至云端主服务器， 云端主服务器的建图模块将新来的关键 帧添加到关键帧数据库以及位置识别模块， 建立新关键 帧、 地图点和对应服务器位姿图的 连接， 并对地图中冗余的关键帧的进行剔除； 位置识别模块利用关键帧数据库对新关键帧进行位置识别查询； 所述位置识别查询包括 地图内位置识别和地图匹配； 所述地图内位置识别是检测一个服 务器地图内先 前访问过的位置， 实现回环检测； 所述地图匹配是检测服务器上两两地图之间的重叠， 当成功检测到两个地图重叠时， 则将当前匹配信息转到地图合并模块， 将两个地图合并为 一个地图。 4.根据权利要求1所述的基于云 ‑边架构的增 强式SLAM重定位方法， 其特征在于， 所述 步骤S4采用： 云端主服务器利用增强式重定位方法通过云 ‑边架构的模式将自身的地图信 息分享给客户端； 所述增强式重定位方法采用： 将云端主服务器上强相关的局部子地图信 息通过通信模 块发送至客户端， 利用强相关的局部 子地图扩充客户端地图从而实现各种协作任务； 所述强相关的局部地图是根据不同客户端关键帧的共视权重选择的； 当服务器上的两 个地图合并之后， 来自不同客户端的关键帧能够建立共视关系； 所述通信模块用于客户端与服 务端之间的数据交换； 所述增强式重 定位方法采用： 云端主服务器在每次进行保存地图时， 利用多线程对地图中所有关键帧提取SIFT特 征， 并计算出SIFT特 征相关的地图点； 客户端里程计经过边缘服务器传来的地图信 息的关键帧中包含ORB特征及相关的地图 点； 当云端主服务器接收到客户端传来的消息后， 对消息中的关键帧提取SIFT特征， 并利 用ORB和SIFT同时进行重 定位；权　利　要　求　书 1/2 页 2 CN 114398458 A 2ORB和SIFT的重定位方法是两个线程同时进行， 当其中一个定位成功， 则跳出重定位模 块； 重定位成功后将得到的位姿周围x米范围内的地图信息发送给相应的边缘服务器， 边缘 服务器对获取的地图信息进行整合后， 发送给对应的客户端。 5.根据权利要求4所述的基于云 ‑边架构的增 强式SLAM重定位方法， 其特征在于， 云端 主服务器在每次进行保存地图时， 多线程提取包括颜色特征、 纹理特征以及形状特征其中 一种或多种， 从而 使得云端地图中的特 征更加丰富， 提升云端地图重 定位的成功率。 6.根据权利要求5所述的基于云 ‑边架构的增 强式SLAM重定位方法， 其特征在于， 所述 步骤S4采用： 步骤S4.1： 根据客户端通过边缘服务器传来消息中的关键帧与云端地图中的所有关键 帧通过多 线程方式进行匹配以获取重 定位候选帧； 步骤S4.2： 运用EPNP方法求 解出位姿； 步骤S4.3： 对求解的位姿进行图优化， 优化后如果内点数大于一定的阈值， 则判断为重 定位成功。 7.根据权利要求1所述的基于云 ‑边架构的增强式SLAM 重定位方法， 其特 征在于， 当云端主服务器在退出时， 增加一个保存当前地图的功能， 将地图数量， 每个地图中的 地图点信息， 关键帧信息， 关键帧之间的连接关系进行二进制方式保存； 当云端主服务器在启动后， 增加一个加载云端离线地图的功能， 查看是否有云端地图 数据， 若有， 则将云端地图信息依次进 行正确加载； 当主服务器通过接收边缘服务器传来的 地图信息， 在当前初始加载的云端地图基础上进行扩充及优化。 8.一种基于云 ‑边架构的增强式SLAM 重定位系统， 其特 征在于， 包括： 模块M1： 多客户端通过同时定位与地图构建使得每个客户端独立完成定位和环境地图 构建， 并将地图信息发送至相应的边 缘服务器； 模块M2： 边缘服务器基于获取的各客户端构建的地图信息构建相应的局部子地图， 并 将多个局部 子地图合并为区域子地图； 模块M3： 将区域子地图上传至云端主服务器， 云端主服务器将多个区域子地图合并为 全局的大规模地图； 重复触发模块M1至模块M 3， 不断扩充云端服 务端地图信息； 模块M4： 根据客户端的需求， 云端主服务器向客户端对应的边缘服务器分发地图信息， 实现多客户端之间的协作。 9.一种存储有计算机程序的计算机可读存储介质， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求1至7中任一项所述的方法的步骤。 10.一种基于云 ‑边架构的增强式SLAM重定位的虚拟设备， 其特征在于， 所述虚拟设备 包括权利要求9所述的存储有计算机程序的计算机可读存储介质； 或者， 所述虚拟设备包括 权利要求8所述的基于云 ‑边架构的增强式SLAM 重定位系统。权　利　要　求　书 2/2 页 3 CN 114398458 A 3