(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641906.8 (22)申请日 2021.12.2 9 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 刘安　王翠　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 代理人 彭瑶 (51)Int.Cl. B01L 3/00(2006.01) G06T 1/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种光致电润湿芯片中液滴的自动化控制 方法 (57)摘要 本发明公开了一种光致电润湿芯片中液滴 的自动化控制方法， 包括以下步骤： 首先布置光 控电润湿平台； 训练深度学习系统中的神经网络 模块； 使用设备实时拍摄图片， 传入深度学习系 统做出相应的路径规划并生成对应的光虚拟电 极， 即光图； 将光图投影至所述光控电润湿平台 的芯片上， 在设定的起始点生成待操作液滴， 连 续变化光图以驱动液滴。 本发明的一种光致电润 湿芯片中液滴的自动化检测和反馈控制方法， 该 方法也适用于各种类型尤其是无电极阵列的数 字微流控芯片， 具有检测精度高、 控制灵活、 可以 自动进行路径 规划躲避障碍物， 对 人工操作的依 赖度低的优势。 权利要求书2页 说明书9页 附图2页 CN 114308159 A 2022.04.12 CN 114308159 A 1.一种光 致电润湿芯片中液滴的自动化控制方法， 其特 征在于， 包括下列步骤： 首先布置光控电润湿平台； 训练深度学习 系统中的神经网络模块； 使用设备实时拍摄图片， 传入深度 学习系统做出相应的路径规划并生成对应的光虚拟 电极， 即生成对应的光图； 将所述光图投影至所述光控电润湿平台的光致电润湿芯片上， 在 设定的起始点生成待 操作液滴， 控制所述 光图连续变化以驱动液滴。 2.根据权利要求1所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 所述 深度学习 系统包括神经网络模块和光图生成模块。 3.根据权利要求2所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 所述 神经网络模块由多种神经网络实现， 达到输入图片， 输出路径指令的效果， 包括采用目标检 测模型和 最短路径算法， 通过训练目标检测模型以识别光致电润湿芯片上液滴位置， 再 由 最短路径算法规划液滴移动路径； 或采用强化学习神经网络， 经过训练后直接根据光致电 润湿芯片实时图像做出路径指令 。 4.根据权利要求1所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 训练 深度学习 系统中的神经网络模块的具体内容 为： 根据神经网络模块的实现方案采取对应的训练方式， 采用目标检测模型和最短路径算 法， 是通过训练目标检测模型以识别光致电润湿芯片上液滴位置， 由最短路径算法规划液 滴移动路径， 具体为： 采集含有 液滴状态各不相同的光致电润湿 芯片表面图片， 加标签制作 数据集训练目标检测模型。 5.根据权利要求3所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 采用 强化学习神经网络， 经过训练后直接根据光致电润湿芯片实时图像做出路径指 令是根据神 经网络模块的实现方案采取对应的训练方式， 具体为： 通过实验或仿 真的方法， 使系统随机 做出指令， 根据指令 达到的效果给予相应反馈， 不断重复直到系统稳定做出最佳指令 。 6.根据权利要求2所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 所述 光图生成模块采用最短路径算法和画图程序库， 根据神经网络模块的输出路径画出对应的 连续变化的驱动光图， 在驱动指定液滴的同时不影响光 致电润湿芯片上其 他液滴。 7.根据权利要求4所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 采集 含有液滴状态各不相同的光 致电润湿芯片表面图片的具体内容包括： 使用相机拍摄一定数量的光致电润湿芯片表面图片， 包括在 设备实际使用过程中液滴 可能存在的各种状态的图片， 并根据算法模型参数调整各种状态图片所占比例。 8.根据权利要求7所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 采集 含有液滴状态各不相同的光致电润湿芯片表面图片后， 加标签制作数据集训练目标检测模 型的具体内容 为： 利用相机拍摄多张光 致电润湿芯片表面图片， 包括含有不同尺寸、 状态的液滴的图片； 将采集到的图片制作成数据集， 其中， 随机抽取若干张图片作为测试集检验最终训练 模型的效果， 其 余图片按照一定比例划分为训练集和验证集； 利用训练集进行训练， 采用验证集测试训练好的模型效果。 9.根据权利要求1所述的光致电润湿芯片中液滴的自动 化控制方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 114308159 A 2光控电润湿平台包括图片获取装置、 投影装置、 所述光致电润湿 芯片、 控制中心及液滴生成 装置， 所述获取装置、 所述液滴生成装置、 所述投影装置与所述控制中心相连， 由所述控制 中心控制， 通过所述图片获取装置实时获取所述光致电润湿芯片的图像， 传入控制中心进 行处理并规划液滴路径， 并控制所述液滴生成装置生成待操作液滴， 所述投影装置作为光 源， 将所述控制中心根据路径生成的驱动光图投影至所述 光致电润湿芯片上。 10.根据权利要求1所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 使 用设备实时拍摄图片并传入深度学习系统做出相应的路径规划并生成对应的光虚拟电极， 即生成对应的光图， 具体包括以下步骤： 实时获取 所述光致电润湿芯片表面图像， 并得到相应的三 通道像素信息数组； 将所述三通道像素信息数组转化为图片并传入深度学习系统中的神经网络模块进行 处理， 获取一条绕开所有障碍物到 达指定位置的最短路径； 将神经网络模块输出的路径指令 输入到光图生成模块 生成对应的驱动光图。 11.根据权利要求6所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 所 述光图生成模块将神经网络模块的输出， 即路径指 令， 输入至光图生成模块， 其根据输入路 径由最短路径算法生成驱动光图， 通过投影装置投影至光致电润湿芯片表面， 基于光图连 续变化驱动液滴按照规划的最短路径 移动， 同时光图不影响光 致电润湿芯片上其 他液滴。 12.根据权利要求9所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 所 述图片获取装置前设有图像采集过滤装置， 利用所述图像采集过滤装置采集来自所述光致 电润湿芯片的自然光。 13.根据权利要求12所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 所 述图像采集过 滤装置为滤光片、 偏振镜 头、 偏振片中的一种或多种。 14.根据权利要求9所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 所 述投影装置的镜头前端还包括用以使得部 分的光源从光源过滤器中透过， 在光致电润湿芯 片上形成光虚拟电极的光源过 滤装置。 15.根据权利要求14所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 所 述光源过滤装置为滤光片、 偏振镜 头、 偏振片中的一种或多种。 16.根据权利要求14所述的光致电润湿芯片中液滴的自动化控制方法， 其特征在于， 所 述光源的光偏振方向与用以拍摄图片的设备 前的光偏振方向垂直。权　利　要　求　书 2/2 页 3 CN 114308159 A 3