(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210756877.8 (22)申请日 2022.06.30 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 (72)发明人 李庆利　梁乐华　王妍　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 刘静 (51)Int.Cl. G06T 7/30(2017.01) G06V 10/56(2022.01) G06T 3/40(2006.01) G06V 40/10(2022.01) G06T 17/00(2006.01) G16H 50/20(2018.01)G01D 21/02(2006.01) (54)发明名称 一种大体组织多维信息采集和分析系统与 方法 (57)摘要 本发明公开了一种大体组织多维信息采集 分析系统与方法， 其中采集分析系统包括： 采集 设备端、 嵌入式开发平台、 移动用户端、 PC用户 端； 采集设备端包括压力传感器、 刻度尺、 标准比 色卡、 可升降支架、 电动相机滑轨、 彩色相机及深 度相机； 嵌入式开发平台设置有硬件接口模块 GPU处理器及显示器； 采集 分析方法包括： 放置 大 体组织以及相应的编号二维码； 识别手势信息， 采集信号； 采集重量和彩色图像， 控制深度相机 位置， 获取深度图像和点云信息； 对彩色图像中 的二维码解码， 获取组织编号； 分析多维信息， 生 成大体报告， 将彩色图像、 三维模型以及大体报 告传输至移动用户端或PC用户端， 保存到指定位 置。 本发明可辅助医生进行大体诊断， 减少人工 投入。 权利要求书2页 说明书5页 附图2页 CN 115082529 A 2022.09.20 CN 115082529 A 1.一种大体组织多维信息采集分析系统， 其特征在于， 包括： 采集设备端(1)、 嵌入式开 发平台(2)、 移动用户端(3)、 PC用户端(4)； 所述采集设备端(1)包括压力传感器(11)、 刻度尺(12)、 标准比色卡(13)、 可升降支架 (14)、 电动相机滑轨(15)、 彩色相机(16)及深度相机(17)； 所述压力传感器(11)、 电动相机 滑轨(15)、 彩色相机(16)及深度相机(17)分别与所述嵌入式开发平台(2)相连接； 所述嵌入式开发平台(2)设置有硬件接口模块， 所述硬件接口模块包括： 若干个视频输 入输出HDMI接口模块(21)、 网络RJ45接口模块(22)、 光纤SFP接口模块(23)、 数据总线RS485 接口模块(25)、 USB3.0 接口模块(27)及TYPE ‑A接口模块(28)； 所述嵌入式开发平台(2)还设置有GPU处 理器(24)及显示器(26)。 2.根据权利要求1所述的大体组织多维信 息采集分析系统， 其特征在于， 所述压力传感 器(11)用于采集大体组织重量信息； 所述彩色相机(16)用于采集彩色图像信息； 所述深度 相机(17)用于采集 三维深度信息和点云数据。 3.根据权利要求1所述的大体组织多维信 息采集分析系统， 其特征在于， 所述硬件接口 模块与所述GPU处理器(24)相连接， 所述数据总线RS485接口模块(25)与所述显示器(26)相 连接。 4.根据权利要求1所述的大体组织多维信 息采集分析系统， 其特征在于， 所述压力传感 器(11)、 电动相机滑轨(15)、 彩色相机(16)、 深度相机(17)、 PC用户端(4)分别 与所述USB3.0 接口模块(27)相连接， 所述移动用户端(3)与所述网络 接口模块(2 2)无线连接 。 5.一种基于权利要求1至4中任意一项所述的大体组织多维信息采集分析系统的采集 分析方法， 其特 征在于， 包括以下步骤： 步骤一： 在压力传感器(1 1)上方放置大体组织以及相应的编号 二维码； 步骤二： 利用可升降支架(14)正前方的彩色相机(16)识别手势信息， 通过无接触的方 式获取开始采集信号； 步骤三： 采集重量和彩色图像， 同时利用电动相机滑轨(15)控制深度相机位置， 使其在 不同角度获取深度图像和点云信息； 步骤四： 对彩色图像中的二维码解码， 获取组织编号， 并将所述组织编号作为基础文件 名； 步骤五： 分析步骤三中的多维信息， 生成大体报告， 将需要存档的彩色图像、 三维模型 以及大体报告传输 至移动用户端(3)或PC用户端(4)， 保存到指定位置 。 6.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法， 其特征在 于， 所述步骤一包括： 选择蓝色、 防水磨砂质地的面板放置于压力传感器(11)正上方， 使面板中心位置正对 支架下方的彩色相机(16)； 所述面板的两相邻侧边贴有刻度尺(12)， 并在靠近可升降支架一侧贴有标准比色卡， 所述刻度尺(12)与所述标准比色卡均为防水质地； 对所述可升降支架(14)的位置进行调整， 在标准比色卡(13)全部纳入， 保留至少一侧 刻度尺的情况下， 使大体组织占所述彩色相机(16)视野的比例较高； 对同一类别的大体组 织， 固定所述可升降支 架(14)的高度； 将所述大体组织放置于面板中心位置， 打印组织编号二维码， 并将所述组织编号二维权　利　要　求　书 1/2 页 2 CN 115082529 A 2码放置于彩色相机(16)视野内。 7.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法， 其特征在 于， 所述步骤二包括： 在嵌入式开发平台(2)中存 入采集命令对应的手势指令， 具体为五指张开的手势； 使用彩色相机(16)获取当前采集人侧的视频流， 判断是否有手势出现； 当人手进入彩色相机(16)视野时， 开始对视频序列进行识别； 设置抽帧时间间隔t， 时 间间隔t内， 仅有一帧进行手势 识别； 基于手的21个骨骼点识别手势： 设置骨骼点组合， 所述骨骼点组合包括每个手指关节 和两端的4个骨骼点和手掌根部的1个骨骼点； 计算所述骨骼点组合与手势指令骨骼点位置的相似程度并设置 阈值， 若相似度高于 阈 值， 则手势 识别成功； 其中， 所述阈值包括相似程度为0.5 到1区间内表现较好的数值； 对手势识别采取防抖措施， 所述防抖措施包括： 成功识别到手势后， 若在连续的视频序 列中识别到同样的手势， 则不做行动， 直至无法识别到同样 手势， 即认作一次手势指 令的完 成， 触发开始采集命令 。 8.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法， 其特征在 于， 所述步骤三包括： 读取压力传感器(11)的当前数值， 根据压力与重量的对应关系， 将所述当前数值转换 为大体组织的重量信息； 对移动端(3)或PC端(4)显示彩色相机(16)所捕获的视频流进行预览， 将视频流设置为 较低分辨率， 使每秒能传输的帧数大于等于2 4； 当触发开始采集信号时， 将当前帧的高分辨 率图像作为大体组织的彩色图像； 使用嵌入式开发板控制电动相机滑轨(15)， 设置滑轨总长为m、 每次将深度相机(16)移 动的距离为m1， 其中m是m1的整数倍； 设置每次移动后停顿时间t1， 在t1时间内完成对不同 视角下深度图像和点云的立体信息采集； 采集完毕后， 将 深度相机(16)移动到初始位置 。 9.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法， 其特征在 于， 所述步骤五中多维信息的分析 过程包括： 基于标准比色卡(13)， 采用多 项式回归的方式， 对所述彩色图像进行颜色校正； 基于深度学习网络， 对校正后的彩色图像进行 大体组织识别， 获取组织识别结果； 基于SAC‑IA、 ICP配准算法将不同视角的点云进行配准， 对深度相机(17)所采集到的立 体信息进行三维重建， 获取 上半个组织的三维模型； 基于所述组织识别结果与所述三维模型， 采用数学计算的方式获得医学指标； 所述医 学指标包括大体组织的长、 宽、 厚度、 表面积。 10.根据权利要求9所述的大体组织多维信 息采集分析系统的采集分析方法， 其特征在 于， 采用数 学计算的方式获得医学指标的过程包括： 大体组织识别后， 获取组织不同部分的二值掩膜图像， 基于OpenCV获取所述二值掩膜 图像中组织的最小外 接矩形框， 所述 最小外接矩形框的长边 为组织的长， 短边 为组织的宽； 将所述二值掩膜图像中被判定为组织的部分进行像素个数求和， 根据像素与实际尺寸 的对应关系， 计算组织表面积； 将所述三维模型的深度进行平均， 获取 大体组织的厚度。权　利　要　求　书 2/2 页 3 CN 115082529 A 3