物联网分布式表型监测与分析系统——PhenoSight是一个物联网(IoT)支持的表型测量平台,设计简单易用,可广泛应用于任何环境。并配套一个自动化田间控制系统、高通量性状分析算法和基于机器学习的建模,以管理和处理平台生成的数据,从而探究基因型、表型和环境之间的动态关系。

image.png


实时作物表型监测(地面与地下部分)

主要功能

通过低成本的田间终端工作站(PhenoNude),自动化实时持续监测作物生长和发育;PhenoMonitor主控单元,可扩展地下根系生长监测功能(CI-603根系动态监测系统,可选NIR近红外、UV紫外、Florescence荧光扫描拍摄模式)

综合农田气象、光合作用、温室气体CO2与甲烷监测

标准温湿度、光合有效辐射(PAR)监测;可扩展气压、降雨量、风速风向、土壤三参数(温室、水分、电导率)、PS-II叶绿素荧光、CO2与甲烷温室气体监测功能等;

高通量分析流程

云端高通量处理和量化作物生长模型和适应性表现;



应用领域

植物株型、株高、冠层、紧密度、叶片颜色、叶片大小等测算

植物生长动态变化、生长速率研究,如植物生育期开花变化监测

植物环境响应研究,如干旱、灌溉、施肥等生理研究

可进行基于机器学习的可扩展的表型分析(适合水稻、小麦等);以及玉米、大豆、棉花、田间/大棚蔬菜种植的表型研究


硬件配置

PhenoMonitor:主控单元

  • PhenoMonitor主控单元,通过云端数据库,管理PhenoNude各节点工作站,记录在线或离线状态、操作模式、日常图像、田间微环境和计算资源,并整理收集数据,以便可视化、批处理和注释

  • 基于RK的8核ARM处理器,带NPU处理单元,最小的能支持3T的算力

  • 以USB和以太网Ethernet的形式提供车载外部连接

  • 允许扩展使用额外的外围设备以及一系列数字GPIO插脚进行连接

  • 采用PCIE接口的4G或者5G对外通信

  • 板载128G的存储

  • 支持3通道的4-20ma信号输出,和3通道4-20ma电流信号采集

  • 支持8通道的模拟信号采集

  • 支持双路485口

  • 支持2路SDI-12接口

  • 板载温湿度传感器采集

  • 支持lora远程数据传输功能

PhenoNode:各节点摄像单元

  • 视角/云台:定焦,105°/水平355°,垂直140°

  • 夜视距离:10米(视具体环境而定)

  • 存储:支持最高64GB MicroSD卡,支持云存储

  • 工作温度:-10°~55°C

  • 防水等级:IP65级防尘防水


软件配置

PhenoSight软件包:图像捕获、初始质量控制与数据备份

  • 基于GUI的成像程序:实现云端实时系统交互

    将其添加到软件包中,以控制RGB或扩展相机模块(如高光谱、IR热红外),用于延时(time-lapse)作物监测。该程序可以自动检测给定PhenoSight各个终端的IP地址,以便将该终端与其田间试验的特定实验ID相关联。之后,程序要求用户通过GUI对话框指定诸如基因型(品种)、生物学重复和成像持续时间等信息。

图像选择算法:用于获取目标图像

  • 通过将图像与一些固定标准进行比较,对田间试验中捕获的大型图像数据集进行快速评估

  • 通过将图像转换为HSV色彩空间(HSV colour space)来获取像素强度的中值;通过对图像应用Sobel边缘检测来确定图像清晰度;通过图像测试可见区域内的阴影百分比

  • 一旦所有比较都通过了,所选图像就包含在结果文件夹中,其中带有CSV文件记录图像元数据,用于进一步的高通量图像分析

小区检测算法:用于检测被监测小区的初始参考位置

  • 基于HSV(色调、饱和度和数值)和Lab非线性色彩空间(Lab non-linear colour space),利用基于颜色的特征选择来识别标杆(视距尺)上的白色参考杆(小区范围)和黑暗高度标记的坐标

  • 使用非监督式的机器学习技术,如K-Means和光谱聚类,将像素分成不同的组,如天空、小区之间的土壤、作物冠层、阴影和小区领域

  • 在检测出图像中的初始参考对象之后,建立了一个虚拟3D参考系统,通过一系列特征选择方法记录了小区范围、冠层区域和高度标记的2D坐标。像素度量转换也基于标杆(视距尺)上的高度标记来计算

PhenoMeasurer算法

  • 采用自适应强度和动态伽马均衡来调整颜色和对比度,以最小化由不同田间照明引起的颜色失真

  • 跟踪给定图像和初始位置上的小区之间的几何差异。如果不同,将应用几何变换方法重新校准图像,该方法移除小区范围之外的区域,并且可以在给定图像的顶部生成不同大小的黑条

  • 通过检测标杆(视距尺)的可见部分来跟踪作物高度,并通过组合的自适应阈值和本地的Otsu阈值方法来定义冠层区域

  • 应用Harris和ShiTomasi角点检测方法对冠层区域内的尖角特征点进行定位。生成红色虚拟点来表示直立叶的顶端、弯曲叶的反射表面、头部和穗头上的角点

  • 基于优化的Canny边缘检测方法,对给定小区的主要方向进行量化,该方法计算作物茎秆的对齐度

数据内插与分析

  • 用来处理田间试验中小的数据损失

  • 使用三次样条插值方法36来填补表型数据集中的缺失

G x P x E相互作用模型

  • 用于探究基因型(品种)作物生长记录与若干环境因素之间的相互作用

  • 用记录的生长数据对每三天分组的环境因子进行相关分析。将环境因素归入嵌套的三天周期可去除异常值并平滑输入数据

  • 使用公式(eRGR)-1来转移负相关值,因为相对生长速率(RGR)系列是相对于生长阶段的增加性质而言的递减序列,获得RGR与环境因子之间的动态关系

  • 基于显著的环境因素,选择单个线性回归模型来估计与给定田间环境条件相关的多个基因型(品种)的RGR。

  • 应用连续的应用程序ht=ht-1(1+yt),得到随时间变化的植物高度

生长阶段预测模型

  • 基于真实生长性状和环境数据,探究如何预测小麦不同基因型生长阶段模型

  • 采用支持向量机(SVM)与径向基函数的内核分类生长阶段,并使用 SVMs的机器学习技术以用于分类


扩展功能-FX10高光谱镜头

主要功能

在可见光和近红外(VNIR)(VNIR)400-1000 nm区域以线阵推扫模式运行,比人眼或RGB相机更能揭示事物的细节。它能在损伤可见之前检测出受伤的果实或患病的植物

技术参数

  • 分光方式:透射光栅

  • 光谱范围: VNIR 400-1000 nm/ 400-780 nm(c-version)

  • 光谱分辨率:5.5 nm

  • 空间像素数:1024 px

  • 波段选择:可自由选择多个感兴趣的波段或全波段

  • 镜头视角:38°(12°、47°、51°、83°可选)

  • 电源输入:12V DC

  • 温度范围:+5-40℃(无冷凝)

  • 相对湿度:5%-95%(无冷凝)


image.png


扩展功能-Micro-PAM长期监测荧光仪

主要功能

长期连续监测与植物光合作用密切相关的PS-II叶绿素荧光,或连电脑进行常规调制荧光测量,如淬灭分析,特别适合于田间作物长期生长监测、应用于指导灌溉决策,产量预测与育种研究等

测量参数

Fo, Fm, F, Fo’, Fm’, Fv/Fm, Y(II), qP, qL, qN, NPQ, Y(NPQ), Y(NO), ETR, 光强PAR,温度,湿度等


image.png


   中文/En