(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211264844.8 (22)申请日 2022.10.17 (71)申请人 哈尔滨工业大 学 （深圳） （哈尔滨工 业大学深圳科技创新研究院） 地址 518055 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 张加佳　詹明鑫　肖京　王轩　 王磊　漆舒汉　郭骁　高翠芸　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 温宏梅 (51)Int.Cl. G06Q 20/40(2012.01) G06Q 40/04(2012.01) G06K 9/62(2022.01)G06N 5/00(2006.01) G06N 7/00(2006.01) (54)发明名称 基于强化学习的量化模型训练方法、 系统、 终端及介质 (57)摘要 本发明公开了一种基于强化学习的量化模 型训练方法、 系统、 终端及介质， 能够根据交易环 境数据动态生成交易策略和交易策略的价值数 据从而扩展并更新蒙特卡洛树， 再根据蒙特卡洛 树搜索路径评估量化目标的完成情况， 将评估结 果作为奖励值反向更新训练量化模 型， 训练后的 量化模型能够根据交易环境数据动态生成交易 策略。 与现有 技术相比， 不用人为设定奖励值， 而 是通过蒙特卡洛树来自动生成奖励值 以更新量 化模型， 使得量 化模型优化效果 好、 鲁棒性高。 权利要求书2页 说明书10页 附图4页 CN 115330398 A 2022.11.11 CN 115330398 A 1.基于强化学习的量 化模型训练方法， 其特 征在于， 所述方法包括： 获取历史 交易环境数据并输入 模拟交易引擎； 根据模拟交易引擎获得交易环境特征并输入量化模型， 根据设定周期内的量化目标输 出当前迭代下的多种交易策略和每种交易策略对应的价 值数据； 根据所述交易环境特征、 所述交易策略和所述价值数据， 扩展蒙特卡洛树当前节点的 子节点并更新当前节点的搜索路径上中间节点的价 值数据； 搜索蒙特卡洛树并更新当前节点， 获得当前节点对应的交易订单， 并将所述交易订单 输入所述模拟交易引擎； 基于当前节点的搜索路径， 获得对所述量化目标完成情况的评估结果， 将所述评估结 果作为奖励值反向更新所述 量化模型； 返回所述 根据模拟交易引擎获得交易环境特 征以进行 下一次迭代。 2.如权利要求1所述的基于强化学习的量化模型训练方法， 其特征在于， 所述根据 所述 交易环境特 征、 所述交易策略和所述 价值数据， 扩展蒙特卡洛树当前节点的子节点， 包括： 基于所述交易策略和所述交易环境特征， 扩展所述当前节点的所有子节点， 每个所述 子节点用于反映一种交易策略并设定所述子节点的值 为对应的价 值数据。 3.如权利要求1所述的基于强化学习的量化模型训练方法， 其特征在于， 所述对量化模 型进行训练， 还 包括： 所述设定周期的交易结束时， 获得对所述设定周期内的量化目标完成情况的评估结 果； 基于所述评估结果， 更新蒙特卡洛树当前节点的搜索路径上中间节点对应的价值数 据； 基于更新后的蒙特卡洛树， 对量 化模型进行迭代更新。 4.如权利要求1或3所述的基于强化学习的量化模型训练方法， 其特征在于， 所述获得 对所述设定周期内的量 化目标完成情况的评估结果， 包括： 基于模拟交易引擎， 根据基线算法获得第一交易完成率和第一交易 价格； 基于蒙特卡洛树， 获得第二交易完成率和第二交易 价格； 比较所述第一交易完成率、 第二交易完成率以及第一交易价格和第二交易价格， 获得 所述评估结果。 5.如权利要求1所述的基于强化学习的量化模型训练方法， 其特征在于， 所述量化模型 的收敛条件为所述设定周期 内量化模型获得 的交易完成率大于或等于基线算法获得 的交 易完成率且量 化模型获得的冲击成本小于基线算法获得的冲击成本 。 6.如权利要求1所述的基于强化学习的量化模型训练方法， 其特征在于， 所述交易环境 特征还包括价格波动率， 计算价格波动率的表达式为： ， 其中， Q为价格 波动率， 为t时刻订单簿中交易对方价格一档， 为t‑1时刻订单簿中交易对方价格一 档。 7.如权利要求1所述的基于强化学习的量化模型训练方法， 其特征在于， 所述根据设定 周期内的量化目标输出当前迭代下的多种交易策略和每种交易策略对应的价值数据， 包 括：权　利　要　求　书 1/2 页 2 CN 115330398 A 2基于设定的交易次数， 获得平均交易比例； 基于设定的比例系数和所述平均交易比例， 获得每种交易策略对应的交易比例； 基于所述交易比例， 获得 所述交易策略和所述 价值数据。 8.基于强化学习的量 化模型训练系统， 其特 征在于， 所述系统包括： 模拟交易引擎， 用于根据历史 交易环境数据构建量 化模型的交易环境； 数据获取模块， 用于获取历史 交易环境数据并输入 模拟交易引擎； 交易策略模块， 用于根据模拟交易引擎获得交易环境特征并输入量化模型， 根据设定 周期内的量 化目标输出当前迭代下的多种交易策略和每种交易策略对应的价 值数据； 更新模块， 用于根据 所述交易环境特征、 所述交易策略和所述价值数据， 扩展蒙特卡洛 树当前节点的子节点并更新当前节点的搜索路径上中间节点的价值数据； 搜索蒙特卡洛树 并更新当前节点， 获得当前节点对应的交易订单， 并将所述交易订单输入所述模拟交易引 擎； 基于当前节点的搜索路径， 获得对 所述量化目标完成情况的评估 结果， 将所述评估结果 作为奖励值反向更新所述 量化模型。 9.智能终端， 其特征在于， 所述智能终端包括存储器、 处理器以及存储在所述存储器上 并可在所述处理器上运行的基于强化学习的量化模型训练程序， 所述基于强化学习的量化 模型训练程序被所述处理器执行时实现如权利要求1 ‑7任意一项 所述基于强化学习的量化 模型训练方法的步骤。 10.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于强化学 习的量化模型训练程序， 所述基于强化学习的量化模型训练程序被处理器执行时实现如权 利要求1‑7任意一项所述基于强化学习的量 化模型训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 115330398 A 3