(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210506777.X (22)申请日 2022.05.07 (71)申请人 上海外高桥造船有限公司 地址 200137 上海市浦东 新区洲海路3 001 号 (72)发明人 于学超　房奎凯　张学辉　袁轶　 王焰　李玉文　刘泓伯　姜英君　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 林嵩　罗朗 (51)Int.Cl. G06F 16/958(2019.01) G06F 16/36(2019.01) G06F 16/27(2019.01) (54)发明名称 数据采集方法、 系统、 设备及 介质 (57)摘要 本发明公开了一种数据采集方法、 系统、 设 备及介质， 数据采集方法， 应用于船舶行业的知 识管理系统， 所述数据采集方法包括： 获取第一 数据； 所述第一数据为网站系统数据且与船舶行 业相关的知识数据； 接收第二数据； 所述第二数 据为数据库类型且与船舶行业相关的知识数据； 集成所述第一数据和所述第二数据。 本发明解决 了采集处理能力不足、 数据结构难以统一， 数据 运维困难的问题， 进而为企业探索数据价值提供 了有力的保证 。 权利要求书2页 说明书7页 附图4页 CN 114817813 A 2022.07.29 CN 114817813 A 1.一种数据采集方法， 应用于船舶行业的知识管理系统， 其特征在于， 所述数据采集方 法包括： 获取第一数据； 所述第一数据为网站系统数据且与船舶行业相关的知识数据； 接收第二数据； 所述第二数据为数据库类型且与船舶行业相关的知识数据； 集成所述第一数据和所述第二数据。 2.如权利要求1所述的数据采集方法， 其特征在于， 所述获取第一数据的步骤具体包 括： 获取所述第一数据的目标网址； 判断所述目标网址是否提供数据库的对接信息， 若否， 则采用页面内容抓取的方式获 取所述第一数据； 所述数据库的对接信息包括数据库类型、 IP地址、 用户名、 密码及数据库 表的定义。 3.如权利要求2所述的数据采集方法， 其特征在于， 所述采用页面内容抓取的方式获取 所述第一数据的步骤具体包括： 获取目标网址； 获取所述目标网址对应的目标页面的网页文档； 根据所述目标页面的相对路径信 息， 在所述网页文档中查找所述路径信 息下的文档对 象节点； 其中， 所述相对路径信息基于文档对象模型节点的属性相关信息构建； 从所述文档对象模型节点中， 提取 所述目标页面的内容； 和/或， 所述采用页面内容 抓取的方式获取 所述第一数据的步骤具体还 包括： 预先定义至少一套与所述目标网址相匹配的数据采集逻辑。 4.如权利要求1所述的数据采集方法， 其特征在于， 所述接收第二数据的步骤具体包 括： 采用SqlDB数据库连接 工具， 从不同数据库中接收所述第二数据； 和/或， 所述 集成所述第一数据和所述第二数据的步骤具体包括： 通过知识图谱的方式将所述第一数据和所述第二数据进行集成。 5.一种数据采集系统， 应用于船舶行业的知识管理系统， 其特征在于， 所述数据采集系 统包括： 获取模块， 用于获取第一数据； 所述第一数据为网站系统数据且与船舶行业相关的知 识数据； 接收模块， 用于接收第二数据； 所述第二数据为数据库类型且与船舶行业相关的知识 数据； 集成模块， 用于集成所述第一数据和所述第二数据。 6.如权利要求5所述的数据采集系统， 其特 征在于， 所述获取模块具体包括： 获取单元， 用于获取 所述第一数据的目标网址； 判断单元， 用于判断所述目标网址是否提供数据库的对接信息， 若否， 则调用抓取单 元； 所述抓取单元， 用于采用页面内容 抓取的方式获取 所述第一数据； 所述数据库的对接信息包括数据库类型、 IP地址、 用户名、 密码及数据库表的定义。 7.如权利要求6所述的数据采集系统， 其特 征在于， 所述 抓取单元具体包括：权　利　要　求　书 1/2 页 2 CN 114817813 A 2第一获取子单 元， 用于获取目标网址； 第二获取子单 元， 用于获取 所述目标网址对应的目标页面的网页文档； 查找子单元， 用于根据所述目标页面的相对路径信息， 在所述网页文档 中查找所述路 径信息下 的文档对 象节点； 其中， 所述相对路径信息基于文档对 象模型节点的属 性相关信 息构建； 提取子单 元， 用于从所述文档对象模型节点中， 提取 所述目标页面的内容； 和/或， 所述 抓取单元具体还包括： 定义逻辑子单 元， 用于预 先定义至少一套与所述目标网址相匹配的数据采集逻辑。 8.如权利要求5所述的数据采集系统， 其特 征在于， 所述接收模块具体用于： 采用SqlDB数据库连接 工具， 从不同数据库中接收所述第二数据； 和/或， 所述集成模块， 具体用于通过知识图谱的方式将所述第一数据和所述第 二数据 进行集成。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述 的数据采集方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至4任一项所述的数据采集方法。权　利　要　求　书 2/2 页 3 CN 114817813 A 3