留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

生成式遥感影像超分辨率重建技术在作物物候期提取中的应用

韩昊 冯子怡 蔡渊吉 许童羽

韩昊, 冯子怡, 蔡渊吉, 等. 生成式遥感影像超分辨率重建技术在作物物候期提取中的应用[J]. 浙江农林大学学报, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
引用本文: 韩昊, 冯子怡, 蔡渊吉, 等. 生成式遥感影像超分辨率重建技术在作物物候期提取中的应用[J]. 浙江农林大学学报, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
HAN Hao, FENG Ziyi, CAI Yuanji, et al. Application of generative remote sensing image super-resolution reconstruction technology in crop phenological extraction[J]. Journal of Zhejiang A&F University, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
Citation: HAN Hao, FENG Ziyi, CAI Yuanji, et al. Application of generative remote sensing image super-resolution reconstruction technology in crop phenological extraction[J]. Journal of Zhejiang A&F University, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338

生成式遥感影像超分辨率重建技术在作物物候期提取中的应用

DOI: 10.11833/j.issn.2095-0756.20250338
基金项目: 辽宁省教育厅青年项目(JYTQN2023301);辽宁省基础应用研究(2023JH2/101300120)
详细信息
    作者简介: 韩昊(ORCID: 0009-0000-6771-3193),从事农业遥感研究。E-mail: 2022200007@stu.syau.edu.cn
    通信作者: 冯子怡(ORCID: 0009-0005-5168-1381),讲师,博士,从事农业信息化和农业遥感研究。E-mail: fengziyi@syau.edu.cn
  • 中图分类号: TP75

Application of generative remote sensing image super-resolution reconstruction technology in crop phenological extraction

  • 摘要:   目的  卫星遥感是目前作物物候监测的主要手段,具有监测面积大、数据获取便捷等多重优点,但用于精准观测的高分辨率遥感卫星回访周期较长,而且易受大气、云雾等不利条件的影响,这使得在高分辨率时序作物物候检测的数据稀疏,无法在变化较快的作物生长期提供足够的影像。本研究提出一种新的方法,以期提高时间序列监测的准确性,更好地实现物候的精准检测。  方法  以水田和旱田为研究样地,探索结合生成式图像处理技术的时序遥感数据填补方法,用于影像重建的轻量化超分辨率生成对抗网络(generative adversarial networks, GAN),并以重建数据为基础进行作物生长季密集时序监测与物候提取。  结果  ①在影像的超分辨率重建方面,基于本研究提出的方法,结构相似性指数(structural similarity,SSIM)和峰值信噪比(peak signal to noise ratio, PSNR)分别达0.834和28.69,相较于目前的主流方法可以更好地重建异源遥感数据;②时序重建后,2个样地的遥感影像的重访周期分别由6.40、6.63 d降至5.70、5.88 d,空间分辨率提升至10 m;③4种平滑方法的物候提取结果,与原始数据提取结果相比具有一定的差异性,优于目前广泛用于时序填补的基于插值的方法。  结论  本研究提出的方法可以有效填补卫星影像时间序列,增强观测数据的连续性,并进行高时空分辨率精准作物物候监测。图9表3参27
  • 图  1  研究区示意图

    Figure  1  Schematic diagram of the study area

    图  2  PGT-GAN网络结构

    Figure  2  PGT-GAN network structure

    图  3  超分辨率重建方法结果对比

    Figure  3  Comparison of results of super-resolution reconstruction methods    

    图  4  Moving平滑法提取的水田各项物候指标

    Figure  4  Various phenological indexes of paddy field extracted by Moving filter

    图  5  Savitzky Golay滤波法提取的水田各项物候指标

    Figure  5  Various phenological indexes of paddy field extracted by Savitzky Golay filter

    图  6  LOWESS提取的旱田各项物候指标

    Figure  6  Various phenological indexes in dry field extracted by LOWESS filter

    图  7  Savitzky-Golay滤波法提取的旱田各项物候指标

    Figure  7  Various phenological indexes in dry field extracted by Savitzky-Golay filter

    图  8  MODIS数据提取的各项物候指标示意图

    Figure  8  Schematic diagram of the phenological indicators extracted from MODIS data

    图  9  原始数据与重建后数据的时间序列曲线对比

    Figure  9  Comparison of time series curves between original data and reconstructed data

    表  1  超分辨率重建结果定量对比

    Table  1.   Quantitative comparison of super-resolution reconstruction results    

    方法 相似系数
    SSIM PSNR
    ESRGAN 0.819 27.17
    pix2pix 0.813 27.50
    SwinIR 0.830 28.56
    PGT-GAN 0.834 28.69
    下载: 导出CSV

    表  2  影像重建后水田物候指标提取结果对比

    Table  2.   Comparison of the extraction results of phenological indicators in paddy fields after image reconstruction

    方法 数据 季初日期 季末日期 生长周期长度/d 峰值日期 最大值 振幅
    Moving 原始数据 169(2023-06-17) 296(2023-10-23) 128 221(2023-08-09) 0.521 0.455
    本研究重建方法 168(2023-06-16) 294(2023-10-20) 126 201(2023-07-20) 0.515 0.449
    RLOWESS 原始数据 173(2023-06-21) 295(2023-10-21) 122 221(2023-08-09) 0.582 0.522
    本研究重建方法 169(2023-06-18) 294(2023-10-20) 124 201(2023-07-20) 0.593 0.532
    LOWESS 原始数据 170(2023-06-18) 293(2023-10-20) 124 226(2023-08-14) 0.537 0.476
    本研究重建方法 171(2023-06-189) 293(2023-10-20) 123 221(2023-08-09) 0.545 0.484
    GPR 原始数据 160(2023-06-08) 299(2023-10-26) 140 221(2023-08-09) 0.521 0.453
    本研究重建方法 161(2023-06-09) 299(2023-10-26) 139 221(2023-08-09) 0.493 0.409
    下载: 导出CSV

    表  3  影像重建后旱田物候指标提取结果对比

    Table  3.   Comparison of the extraction results of phenological indicators in dry fields after image reconstruction

    方法 数据 季初日期 季末日期 生长周期长度/d 峰值日期 最大值 振幅
    Moving 原始数据 138(2023-06-05) 266(2023-10-17) 128 171(2023-07-05) 0.485 0.485
    本研究重建方法 140(2023-06-04) 265(2023-10-07) 126 176(2023-07-10) 0.500 0.500
    RLOWESS 原始数据 140(2023-06-04) 275(2023-10-17) 135 171(2023-07-05) 0.516 0.516
    本研究重建方法 141(2023-06-05) 269(2023-10-11) 129 176(2023-07-10) 0.533 0.533
    LOWESS 原始数据 141(2023-06-05) 269(2023-10-11) 128 171(2023-07-05) 0.531 0.531
    本研究重建方法 141(2023-06-05) 266(2023-10-08) 125 186(2023-07-20) 0.535 0.535
    KNNR 原始数据 125(2023-05-20) 273(2023-10-15) 148 191(2023-07-25) 0.444 0.444
    本研究重建方法 124(2023-05-19) 274(2023-10-16) 150 191(2023-07-25) 0.438 0.438
    下载: 导出CSV
  • [1] SCHWARTZ M D, REED B C, WHITE M A. Assessing satellite-derived start-of-season measures in the conterminous USA [J]. International Journal of Climatology, 2002, 22(14): 1793−1805.
    [2] 李雪建. 基于遥感反演的竹林物候时空变异及其对碳循环影响机制研究[D]. 杭州: 浙江农林大学, 2021.

    LI Xuejian. Spatiotemporal Variation of Bamboo Forest Phenology Based on Remote Sensing Inversion and Its Influence Mechanism on Carbon Cycle[D]. Hangzhou: Zhejiang A&F University, 2021.
    [3] FU Y H, ZHAO Hongfang, PIAO Shilong, et al. Declining global warming effects on the phenology of spring leaf unfolding [J]. Nature, 2015, 526(7571): 104−107.
    [4] 薛惠鸿, 史锋, GENNARETTI F, 等. 全球变暖背景下中国森林春季木质部物候提前的模拟证据[J]. 中国科学: 地球科学, 2023, 53(10): 2217−2230.

    XUE Huihong, SHI Feng, GENNARETTI F, et al. Evidence of advancing spring xylem phenology in Chinese forests under global warming [J]. Scientia Sinica (Terrae), 2023, 53(10): 2217−2230.
    [5] RICHARDSON A D, KEENAN T F, MIGLIAVACCA M, et al. Climate change, phenology, and phenological control of vegetation feedbacks to the climate system [J]. Agricultural and Forest Meteorology, 2013, 169: 156−173.
    [6] MO Fei, ZHANG Jian, WANG Jing, et al. Phenological evidence from China to address rapid shifts in global flowering times with recent climate change [J]. Agricultural and Forest Meteorology, 2017, 246: 22−30.
    [7] SULLIVAN M K, FAYOLLE A, BUSH E, et al. Cascading effects of climate change: new advances in drivers and shifts of tropical reproductive phenology [J]. Plant Ecology, 2024, 225(3): 175−187.
    [8] 谢志英, 朱文泉, 付永硕. 植被物候遥感监测关键问题[J]. 遥感学报, 2024, 28(9): 2131−2143.

    XIE Zhiying, ZHU Wenquan, FU Yongshuo. Key issues of remote sensing-based vegetation phenology monitoring [J]. National Remote Sensing Bulletin, 2024, 28(9): 2131−2143.
    [9] MILLER-RUSHING A J, WELTZIN J. Phenology as a tool to link ecology and sustainable decision making in a dynamic environment [J]. New Phytologist, 2009, 184(4): 743−745.
    [10] 翟佳, 袁凤辉, 吴家兵. 植物物候变化研究进展[J]. 生态学杂志, 2015, 34(11): 3237−3243.

    ZHAI Jia, YUAN Fenghui, WU Jiabing. Research progress on vegetation phenological changes [J]. Chinese Journal of Ecology, 2015, 34(11): 3237−3243.
    [11] THOMPSON D R, WEHMANEN O A. Using Landsat digital data to detect moisture stress in corn-soybean growing regions[J]. Photogrammetric Engineering and Remote Sensing, 1980, 46(8): 1087−1093.
    [12] CAPARROS-SANTIAGO J A, RODRIGUEZ-GALIANO V. Analysing long-term spatiotemporal land surface phenology patterns over the Iberian Peninsula using 250 m MODIS EVI2 data[J/OL]. Science of the Total Environment, 2024, 954: 176453[2025-05-04]. DOI: 10.1016/j.scitotenv.2024.176453.
    [13] XU Wenfang, MA Hanqing, WU Donghai, et al. Assessment of the daily cloud-free MODIS snow-cover product for monitoring the snow-cover phenology over the Qinghai-Tibetan Plateau[J]. Remote Sensing, 2017, 9(6): 585[2025-05-04]. DOI: 10.3390/rs9060585.
    [14] HERMANCE J F. Stabilizing high‐order, non‐classical harmonic analysis of NDVI data for average annual models by damping model roughness [J]. International Journal of Remote Sensing, 2007, 28(12): 2801−2819.
    [15] KOVALSKYY V, ROY D P. The global availability of Landsat 5 TM and Landsat 7 ETM + land surface observations and implications for global 30 m Landsat data product generation [J]. Remote Sensing of Environment, 2013, 130: 280−293.
    [16] ZHANG H K, ROY D P, YAN Lin, et al. Characterization of Sentinel-2A and Landsat-8 top of atmosphere, surface, and nadir BRDF adjusted reflectance and NDVI differences [J]. Remote Sensing of Environment, 2018, 215: 482−494.
    [17] ONOJEGHUO A O, BLACKBURN G A, WANG Qunming, et al. Rice crop phenology mapping at high spatial and temporal resolution using downscaled MODIS time-series [J]. GIScience & Remote Sensing, 2018, 55(5): 659−677.
    [18] SONG Guangqin, WANG Jing, ZHAO Yingyi, et al. Scale matters: spatial resolution impacts tropical leaf phenology characterized by multi-source satellite remote sensing with an ecological-constrained deep learning model[J/OL]. Remote Sensing of Environment, 2024, 304: 114027[2025-05-05]. DOI: 10.1016/j.rse.2024.114027.
    [19] GUO Xiaojie, CAO Xiaochun. FIND: a neat flip invariant descriptor[C]//PRICHARD B N, GILLAM P M. Proceedings of the 2010 20th International Conference on Pattern Recognition. IEEE Computer Society, 2010: 515−518.
    [20] ZHANG Kun, ZHU Changming, LI Junli, et al. Reconstruction of dense time series high spatial resolution NDVI data using a spatiotemporal optimal weighted combination estimation model based on Sentinel-2 and MODIS[J/OL]. Ecological Informatics, 2024, 82: 102725[2025-05-05]. DOI: 10.1016/j.ecoinf.2024.102725.
    [21] WILCOX R. The Regression Smoother LOWESS: A confidence band that allows heteroscedasticity and has some specified simultaneous probability coverage[J/OL]. Journal of Modern Applied Statistical Methods, 2017, 16: 35603179[2025-05-05]. DOI: 10.22237/JMASM/1509494580.
    [22] SUN Chenrun, XUE Zhaohui, ZHANG Ling, et al. Local peak Savitzky-Golay for spatio-temporal reconstruction of landsat NDVI time series: a case study over the Qinghai-Tibet Plateau [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2024, 17: 13439−13455.
    [23] ZHANG Xiaomo, SUN Xin, LIN Zhulu. Improving soil moisture prediction using Gaussian process regression[J/OL]. Smart Agricultural Technology, 2025, 11: 100905[2025-05-05]. DOI: 10.1016/j.atech.2025.100905.
    [24] GONG Zheng, GE Wenyan, GUO Jiaqi, et al. Satellite remote sensing of vegetation phenology: progress, challenges, and opportunities [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2024, 217: 149−164.
    [25] VERBESSELT J, HYNDMAN R, ZEILEIS A, et al. Phenological change detection while accounting for abrupt and gradual trends in satellite image time series [J]. Remote Sensing of Environment, 2010, 114(12): 2970−2980.
    [26] SHI Hua, XIAN G. Assessing gap-filled Landsat land surface temperature time-series data using different observational datasets [J]. International Journal of Remote Sensing, 2025, 46(12): 4559−4582.
    [27] RICHARDSON A D. PhenoCam: an evolving, open-source tool to study the temporal and spatial variability of ecosystem-scale phenology[J/OL]. Agricultural and Forest Meteorology, 2023, 342: 109751[2025-05-05]. DOI: 10.1016/j.agrformet.2023.109751.
  • [1] 张诗文, 李成荣, 王妍, 武杨.  基于长时序卫星遥感的云南省生态质量评价与演变特征 . 浙江农林大学学报, 2023, 40(3): 579-588. doi: 10.11833/j.issn.2095-0756.20220439
    [2] 李思源, 叶真妮, 毛勇伟, 陈玉玲, 曾纳.  4种遥感数据时空融合模型生成高分辨率归一化植被指数的对比分析 . 浙江农林大学学报, 2023, 40(2): 427-435. doi: 10.11833/j.issn.2095-0756.20220381
    [3] 吴立周, 王晓慧, 王志辉, 方馨, 朱婷瑜, 丁丽霞.  基于随机森林法的农作物高光谱遥感识别 . 浙江农林大学学报, 2020, 37(1): 136-142. doi: 10.11833/j.issn.2095-0756.2020.01.018
    [4] 张兆鹏, 李增元, 田昕.  高分辨率遥感影像林地类型精细识别 . 浙江农林大学学报, 2019, 36(5): 857-867. doi: 10.11833/j.issn.2095-0756.2019.05.003
    [5] 周静平, 李存军, 胡海棠, 陶欢, 彭代亮, 谢春春, 葛艳.  森林植被遥感监测影像最佳分辨率选择 . 浙江农林大学学报, 2018, 35(4): 716-723. doi: 10.11833/j.issn.2095-0756.2018.04.017
    [6] 莫琴, 陈志泊, 谢士琴, 陈明健, 夏朝宗.  高分辨率林业生态工程监测系统研建与应用 . 浙江农林大学学报, 2017, 34(4): 737-742. doi: 10.11833/j.issn.2095-0756.2017.04.021
    [7] 张静, 廖绍波, 孙冰, 罗水兴, 陈勇, 施国政, 张珂.  观赏树种黄花风铃木花期物候与花形态 . 浙江农林大学学报, 2017, 34(4): 759-764. doi: 10.11833/j.issn.2095-0756.2017.04.024
    [8] 王月婷, 张晓丽, 杨慧乔, 王书涵, 白金婷.  基于Landsat 8卫星光谱与纹理信息的森林蓄积量估算 . 浙江农林大学学报, 2015, 32(3): 384-391. doi: 10.11833/j.issn.2095-0756.2015.03.008
    [9] 郭慧慧, 蒋文伟, 梅艳霞.  基于高空间分辨率航空影像的宁波鄞州新城区城市景观格局分析 . 浙江农林大学学报, 2012, 29(3): 344-351. doi: 10.11833/j.issn.2095-0756.2012.03.005
    [10] 王妮, 彭世揆, 李明诗.  基于树种分类的高分辨率遥感数据纹理特征分析 . 浙江农林大学学报, 2012, 29(2): 210-217. doi: 10.11833/j.issn.2095-0756.2012.02.010
    [11] 吴春争, 冯益明, 舒清态, 李增元, 武红敢, 车腾腾.  基于高空间分辨率影像的林业小班遥感区划系统设计与实现 . 浙江农林大学学报, 2011, 28(1): 40-45. doi: 10.11833/j.issn.2095-0756.2011.01.007
    [12] 郭徵, 江洪, 陈健, 程苗苗, 江子山, 余树全, 李土生3.  基于遥感的杭州余杭森林景观格局变化 . 浙江农林大学学报, 2010, 27(1): 36-43. doi: 10.11833/j.issn.2095-0756.2010.01.006
    [13] 张艮龙, 冯益明, 贾建华, 武红敢, 李增元.  基于SPOT-5遥感影像的小班区划探讨 . 浙江农林大学学报, 2010, 27(2): 299-303. doi: 10.11833/j.issn.2095-0756.2010.02.023
    [14] 吴见, 彭道黎.  多伦县土地利用遥感信息提取技术 . 浙江农林大学学报, 2010, 27(3): 417-423. doi: 10.11833/j.issn.2095-0756.2010.03.016
    [15] 刘晓双, 黄建文, 鞠洪波.  高空间分辨率遥感的单木树冠自动提取方法与应用 . 浙江农林大学学报, 2010, 27(1): 126-133. doi: 10.11833/j.issn.2095-0756.2010.01.021
    [16] 施拥军, 徐小军, 杜华强, 周国模, 金伟, 周宇峰.  基于BP神经网络的竹林遥感监测研究 . 浙江农林大学学报, 2008, 25(4): 417-421.
    [17] 黄初冬, 邵芸, 李静, 柳晶辉, 陈洁琼.  基于回归决策树和ASTER卫星影像的城市森林研究 . 浙江农林大学学报, 2008, 25(2): 240-244.
    [18] 张斌, 许莉勇.  樟树籽提取樟油的试验 . 浙江农林大学学报, 2001, 18(1): 57-59.
    [19] 黄坚钦.  鹅掌楸结籽率低的胚胎学原因探讨 . 浙江农林大学学报, 1998, 15(3): 269-273.
    [20] 鲁小珍, 叶镜中, 孙多.  带输入项的线性自回归模型在树木物候预测中的应用 . 浙江农林大学学报, 1998, 15(2): 201-206.
  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20250338

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2025/4/657

图(9) / 表(3)
计量
  • 文章访问数:  577
  • HTML全文浏览量:  139
  • PDF下载量:  117
  • 被引次数: 0
出版历程
  • 收稿日期:  2025-04-15
  • 修回日期:  2025-07-08
  • 录用日期:  2025-07-10
  • 网络出版日期:  2025-08-01
  • 刊出日期:  2025-08-01

生成式遥感影像超分辨率重建技术在作物物候期提取中的应用

doi: 10.11833/j.issn.2095-0756.20250338
    基金项目:  辽宁省教育厅青年项目(JYTQN2023301);辽宁省基础应用研究(2023JH2/101300120)
    作者简介:

    韩昊(ORCID: 0009-0000-6771-3193),从事农业遥感研究。E-mail: 2022200007@stu.syau.edu.cn

    通信作者: 冯子怡(ORCID: 0009-0005-5168-1381),讲师,博士,从事农业信息化和农业遥感研究。E-mail: fengziyi@syau.edu.cn
  • 中图分类号: TP75

摘要:   目的  卫星遥感是目前作物物候监测的主要手段,具有监测面积大、数据获取便捷等多重优点,但用于精准观测的高分辨率遥感卫星回访周期较长,而且易受大气、云雾等不利条件的影响,这使得在高分辨率时序作物物候检测的数据稀疏,无法在变化较快的作物生长期提供足够的影像。本研究提出一种新的方法,以期提高时间序列监测的准确性,更好地实现物候的精准检测。  方法  以水田和旱田为研究样地,探索结合生成式图像处理技术的时序遥感数据填补方法,用于影像重建的轻量化超分辨率生成对抗网络(generative adversarial networks, GAN),并以重建数据为基础进行作物生长季密集时序监测与物候提取。  结果  ①在影像的超分辨率重建方面,基于本研究提出的方法,结构相似性指数(structural similarity,SSIM)和峰值信噪比(peak signal to noise ratio, PSNR)分别达0.834和28.69,相较于目前的主流方法可以更好地重建异源遥感数据;②时序重建后,2个样地的遥感影像的重访周期分别由6.40、6.63 d降至5.70、5.88 d,空间分辨率提升至10 m;③4种平滑方法的物候提取结果,与原始数据提取结果相比具有一定的差异性,优于目前广泛用于时序填补的基于插值的方法。  结论  本研究提出的方法可以有效填补卫星影像时间序列,增强观测数据的连续性,并进行高时空分辨率精准作物物候监测。图9表3参27

English Abstract

韩昊, 冯子怡, 蔡渊吉, 等. 生成式遥感影像超分辨率重建技术在作物物候期提取中的应用[J]. 浙江农林大学学报, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
引用本文: 韩昊, 冯子怡, 蔡渊吉, 等. 生成式遥感影像超分辨率重建技术在作物物候期提取中的应用[J]. 浙江农林大学学报, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
HAN Hao, FENG Ziyi, CAI Yuanji, et al. Application of generative remote sensing image super-resolution reconstruction technology in crop phenological extraction[J]. Journal of Zhejiang A&F University, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
Citation: HAN Hao, FENG Ziyi, CAI Yuanji, et al. Application of generative remote sensing image super-resolution reconstruction technology in crop phenological extraction[J]. Journal of Zhejiang A&F University, 2025, 42(4): 657−666 doi:  10.11833/j.issn.2095-0756.20250338
  • 物候是生物有机体长期适应气候条件而形成的周期性变化[1]。植被物候是表征陆地植被生长变化的重要参数,是植被对全球气候变化响应的最直接指示[26],调节了陆地生态系统对气候系统反馈的诸多路径[7],几乎影响着生态以及生物进化的各方面[89]。物候学已经发展了多种植被物候观测和预测方法。这些方法大致可归纳为3类:地面观测(人工观测、物候相机监测和通量监测)、遥感监测和物候模型预测[10]。遥感监测具有观测范围大、信息获取便捷等特点,近年来被广泛应用于植被物候信息的采集。从最早THOMPSON等[11]基于Landsat系列光学传感器来监测小麦Triticum aestivum对于水分胁迫响应开始,光学传感器极大推进了对于植被物候的探索进程。随着遥感技术的发展,遥感信息的时空分辨率不断提高,但是高分辨率的遥感数据获取较为困难,而中低分辨率遥感数据则易受混合像元的干扰,同时由于卫星获取的遥感数据中包含了云层和气溶胶等干扰,即使像中分辨率成像光谱仪(moderate-resolution imaging spectroradiometer,MODIS)等具有日重访遥感数据的传感器,可用的数据也十分有限[1213]。一些学者通过线性拟合来填补这些缺失的数据,例如HERMANCE[14]使用线性调和模型(harmonic models)拟合来填补缺失的Landsat卫星观测数据,提取结果可用于任何日期的土地覆盖变化的预测。虽然这些基于空间插值的方法在降噪和平滑方面表现良好,但大多数基于插值的方法在重建时缺乏有效性和示例数据支撑。

    在异源传感器的时序检测方面,KOVALSKYY等[15]使用Landsat-5和Landsat-7卫星的异源数据进行密集时间序列重建,提取美国的6个农业种植区归一化植被指数(normalized difference vegetation index,NDVI)数据进行分析。ZHANG等[16]对比了Sentinel-2A和Landsat-8的大气、表面和最低点的特征双向反射率分布函数(bidirectional reflectance distribution function, BRDF)调整反射率和NDVI差异,结果表明:在未经光谱纠正的情况下Sentinel-2和Landsat-8的实验值具有较大的差异。ONOJEGHUO等[17]将MODIS数据与Landsat数据融合,获取高时空分辨率数据(空间分辨率为30 m,间隔8 d),并通过融合数据建立的NDVI序列证明该方法可以提高水稻Oryza sativa物候信息的监测精度。因此通过多源数据融合将不同遥感数据源的优势进行结合,已被证明是提高植被物候监测精度的有效方法。近年来,一些应用Harmonized Landsat and Sentinel-2 (HLS)数据的异源卫星物候提取工作也陆续开展,但这些研究的分辨率受限在30 m。目前已有研究表明:更高分辨率的数据可以显著提升物候期提取的精度[18],单一传感器往往无法满足连续观测的需要,多星协同高分辨率的物候提取工作需要进一步研究。

    随着生成式图像处理技术的飞速发展,基于生成对抗网络(generative adversarial networks, GAN)的深度学习网络在遥感影像处理任务上达到了良好的效果。GAN的风格迁移和图像分辨率重建能力使不同传感器间的遥感影像分辨率重建和光谱统一成为可能,可以克服目前作物时序检测与物候提取中插值法和融合法没有实例数据支撑、异源数据观测面临的分辨率和光谱差异的问题。本研究提出一种新方法,通过GAN将异源卫星影像的空间分辨率和光谱差异进行统一,生成具有更高分辨率的同一尺度(10 m)、相同波段范围的遥感影像时间序列,用于田块级的作物连续监测,并精准提取作物物候。该方法训练通用GAN模型,评估生成图像质量,并研究生成的时间序列影像在多个农业地块的物候提取能力和准确性,以期提高时间序列监测的准确性,更好地实现物候的精准检测。通过该方法也可以在任意尺度下提升时序遥感影像的空间分辨率或时间分辨率,有望对基于卫星遥感的物候提取研究做出重要贡献。

    • 研究区位于辽宁南部辽河出海口处,春季和夏季云层降水量较高,秋冬降水量较低。辽河平原是重要的东北黑土地重点保护区域,辽中南地区的“鱼米之乡”,也是中国最重要粮食主产区之一。在研究区选取了大面积的水田和旱田作为物候提取试验区域,试验区域示意图见图1

      图  1  研究区示意图

      Figure 1.  Schematic diagram of the study area

    • 收集2023年在40.84°~40.92°N,121.98°~122.07°E拍摄的全部无云、无噪声的Sentinel-2影像,作为原始时序影像。利用欧洲航天局提供的 Sen2cor 插件对下载的影像进行辐射校正和大气校正,生成 L2A级数据,用于全年的时序监测与物候提取应用。在水田区域共获取有效时序影像57幅,平均时间分辨率为6.40 d,旱田区域共获取有效时序影像55幅,平均时间分辨率为6.64 d。每幅图像均包含了物候提取最必要的4个颜色通道,即红、绿、蓝和近红外波段。

    • ①超分辨率网络训练数据集。在训练数据集的制作方面,首先将研究区不同季节的20幅Sentinel-2影像经过双三次下采样为40 m,制作4倍超分辨率重建的基础数据集,用于大规模预训练。同时在训练数据中加入了79组Sentinel-2和Landsat-8相同日期拍摄的影像对,制作异源影像数据并基于这些数据精细化训练生成式神经网络。②超分辨率影像数据生成方法。在数据集上训练超分辨率重建网络,并对网络的图像重建能力进行定量评价。为了适应时序影像的超分辨率需求,设计了一个简洁、轻量化的PGT-GAN模型(图2),该模型兼具目前主流网络的生成性能和简洁性。它的生成器由深度特征提取和分辨率升级两部分组成,首先将分辨率影像数据输入到由残差模块(residual block)和残差STB(residual swin transformer block)构成的深度特征提取模块中,而后经多组由卷积层、像素归一化层和LRelu层逐步进行分辨率升级。判别器部分则沿用PGGAN的模式,经卷积层和LRelu层逐级下采样,最后归一化并计算损失函数。所提出的PGT-GAN方法使用Tensorflow 2.8.0框架实现。在训练过程中应用Adam优化器,初始学习率为0.002,批处理大小为4。通过多次测试和比较,将绝对误差损失(L1 loss)设置为200,深度(depth)设置为64。研究中使用上述设置对该模型进行了500个训练轮次(epoch)的训练。所有的实验均是在配备了NVIDIA RTX P5000 GPU的Ubuntu 20.04系统上进行。

      图  2  PGT-GAN网络结构

      Figure 2.  PGT-GAN network structure

    • 选取最广泛应用的2个图像评价指标:峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性指数(structural similarity,SSIM)[19],用于评估单幅遥感影像超分辨率重建效果。PSNR数学定义如式(1)所示:

      $$ R_{\mathrm{PSNR}}=10\;{\mathrm{lg}}\left(\frac{C_{\text{MAX}}^2}{E_{\text{MS}}}\right)。 $$ (1)

      式(1)中:RPSNR指PSNR;CMAX为图像中颜色的最大值;EMS为均方误差。

      SSIM是基于人类视觉提取图像中结构化信息的假设,是基于亮度、对比度和结构来衡量幅图像相似度的指标。计算如式所示:

      $$ R_{{\mathrm{SSIM}}}(x,\;y) = [l{(x,\;y)^\alpha } c{(x,\;y)^\beta } s{(x,\;y)^\gamma }] 。 $$ (2)

      式(2)中:RSSIM指SSIM;x, y分别代表两幅对比影像中相对应的像素;l(x, y)用于衡量亮度差异;c(x, y)用于衡量对比度差异即像素的标准差;s(x, y)用于衡量结构差异,α、β、γ分别表示不同特征在SSIM衡量中的占比。

    • 将提出的超分辨率时间序列重构方法与插值填补法和原始数据提取的物候信息在多个平滑条件下进行鲁棒性和实用性对比。这些平滑模型已被证明具有有效性,包括滑动平滑法(Moving)、局部加权平滑(locally weighted scatterplot smootling, LOWESS)[20]、稳健局部加权回归(RLOWESS)[21]、Savitzky-Golay滤波法[22]。在目前物候提取研究常使用的插值方法中,高斯过程回归(Gaussian process regression,GPR)方法[23]是填补时间序列影像空白的首选方法之一。此外,它也是诸多插值方法中唯一能提供相关不确定性的方法。本研究采用GPR和常用的K近邻回归(K-nearest neighbors regression,KNNR) 2种虚拟填补时序影像剩余缺失值的方法作为对比研究。

    • 本研究的技术路线包括4个主要阶段:数据预处理、模型训练、时序重建和物候提取。数据预处理阶段被设计用于生成训练所需的输入数据和目标,并将测试图像预处理为网络的输入格式,即异源影像的影像对。在第二步模型训练中,采用2.1.2中生成的训练数据训练生成式深度学习模型,将Landsat-8影像输入到生成式神经网络,重建为与Sentinel-2光谱类似的10 m分辨率影像,并与原始10 m分辨率Sentinel-2影像构成更加密集的时间序列。在物候提取阶段,本研究从重建后的影像中计算植被指数,并提取多个物候指标进行比对分析。

    • 重建性能分析以2023年11月4日的Sentinel-2 (10 m)和Landsat-8 (40 m)异源影像为例,以验证本研究提出方法的分辨率重建结果。如表1所示:通过和ESRGAN、pix2pix和SwinIR定量对比可以看出,本研究提出的PGT-GAN超分辨率重建网络和目前主流超分辨率网络相比略有优势,相较于SwinIR, SSIM和PSNR分别提升0.004和0.13。

      表 1  超分辨率重建结果定量对比

      Table 1.  Quantitative comparison of super-resolution reconstruction results    

      方法 相似系数
      SSIM PSNR
      ESRGAN 0.819 27.17
      pix2pix 0.813 27.50
      SwinIR 0.830 28.56
      PGT-GAN 0.834 28.69

      通过图像的定性对比(图3)可以看出:PGT-GAN网络具有较强的影像还原能力,重建的影像纹理细节饱满,与原图色差很小,可以用于后续时序重建及物候提取。

      图  3  超分辨率重建方法结果对比

      Figure 3.  Comparison of results of super-resolution reconstruction methods    

    • 使用3.1中重建的遥感数据对原始影像数据进行填补,水田和旱田分别由每年57、55幅影像分别提升为每年64、62幅,平均观测回访周期分别由6.40、6.63 d提升至5.70、5.88 d,并进行基于重建数据的物候提取。为验证该方法提取物候的鲁棒性和实用性,分别采用4种不同的平滑方法,使用NDVI提取水田和旱田的多个物候指标,分别为:每年的季初日期(start of the season, SOS)、季末日期(end of the season, EOS)、振幅(amplitude),生长周期长度(length)、最大值(max value)和峰值日期(max day)。图4~5为水田Moving平滑法和Savitzky-Golay滤波法的可视化提取结果,图6~7为旱田LOWESS和Savitzky-Golay滤波法的可视化提取结果。

      图  4  Moving平滑法提取的水田各项物候指标

      Figure 4.  Various phenological indexes of paddy field extracted by Moving filter

      图  5  Savitzky Golay滤波法提取的水田各项物候指标

      Figure 5.  Various phenological indexes of paddy field extracted by Savitzky Golay filter

      图  6  LOWESS提取的旱田各项物候指标

      Figure 6.  Various phenological indexes in dry field extracted by LOWESS filter

      图  7  Savitzky-Golay滤波法提取的旱田各项物候指标

      Figure 7.  Various phenological indexes in dry field extracted by Savitzky-Golay filter

      图4~7可见:在相同的平滑方法下,重建后的时序数据和原始数据在各个物候指标的制图上有着明显的差异。水田和旱田不论是通过平滑方法还是Savitzky Golay滤波法提取的SOS和EOS都出现了多处差异,Moving方法提取的峰值日期制图差异最为明显,原始数据的峰值日期更为靠后。重建后的影像可以在很大程度上减少提取SOS和EOS时产生的异常值点,采用Savitzky Golay滤波法提取的EOS更为靠前,在最大值和振幅方面都有明显差异,原始数据相较于重建后数据振幅偏大,这表示原始数据在提取物候时稳定性欠佳。综上,无论是Sentinel-2原始影像还是重建后的影像,相较于MODIS数据提取的物候结果都更为精细。MODIS虽具有很高的时间分辨率,但如图8所示,仅适用于广泛的大面积检测。

      图  8  MODIS数据提取的各项物候指标示意图

      Figure 8.  Schematic diagram of the phenological indicators extracted from MODIS data

      表2~3分别表示各方法提取的水田、旱田的SOS、EOS、生长周期、峰值日期、最大值和振幅平均值。由于计算的是每个像素的平均值,因此即便是很小的数值差距也表明整张图巨大变化。通过定量对比可以发现:相较于插值方法对数据缺失部分进行的填补,本研究提出的填补方法在各个平滑方法的对比中,与原始的结果都存在一定差异。SOS、EOS的差异分别在±4、±2 d,物候期的长度差异在±3 d。

      表 2  影像重建后水田物候指标提取结果对比

      Table 2.  Comparison of the extraction results of phenological indicators in paddy fields after image reconstruction

      方法 数据 季初日期 季末日期 生长周期长度/d 峰值日期 最大值 振幅
      Moving 原始数据 169(2023-06-17) 296(2023-10-23) 128 221(2023-08-09) 0.521 0.455
      本研究重建方法 168(2023-06-16) 294(2023-10-20) 126 201(2023-07-20) 0.515 0.449
      RLOWESS 原始数据 173(2023-06-21) 295(2023-10-21) 122 221(2023-08-09) 0.582 0.522
      本研究重建方法 169(2023-06-18) 294(2023-10-20) 124 201(2023-07-20) 0.593 0.532
      LOWESS 原始数据 170(2023-06-18) 293(2023-10-20) 124 226(2023-08-14) 0.537 0.476
      本研究重建方法 171(2023-06-189) 293(2023-10-20) 123 221(2023-08-09) 0.545 0.484
      GPR 原始数据 160(2023-06-08) 299(2023-10-26) 140 221(2023-08-09) 0.521 0.453
      本研究重建方法 161(2023-06-09) 299(2023-10-26) 139 221(2023-08-09) 0.493 0.409

      表 3  影像重建后旱田物候指标提取结果对比

      Table 3.  Comparison of the extraction results of phenological indicators in dry fields after image reconstruction

      方法 数据 季初日期 季末日期 生长周期长度/d 峰值日期 最大值 振幅
      Moving 原始数据 138(2023-06-05) 266(2023-10-17) 128 171(2023-07-05) 0.485 0.485
      本研究重建方法 140(2023-06-04) 265(2023-10-07) 126 176(2023-07-10) 0.500 0.500
      RLOWESS 原始数据 140(2023-06-04) 275(2023-10-17) 135 171(2023-07-05) 0.516 0.516
      本研究重建方法 141(2023-06-05) 269(2023-10-11) 129 176(2023-07-10) 0.533 0.533
      LOWESS 原始数据 141(2023-06-05) 269(2023-10-11) 128 171(2023-07-05) 0.531 0.531
      本研究重建方法 141(2023-06-05) 266(2023-10-08) 125 186(2023-07-20) 0.535 0.535
      KNNR 原始数据 125(2023-05-20) 273(2023-10-15) 148 191(2023-07-25) 0.444 0.444
      本研究重建方法 124(2023-05-19) 274(2023-10-16) 150 191(2023-07-25) 0.438 0.438
    • 图9时间序列曲线可见:相较于原始时间序列,本研究方法的数据更为密集,红框标注部分突出展示了本研究提出的时序重建方法的优越性,即可以在试验区生成有效的植被指数数据,明显且有效地填补时间序列中的缺失。这对于作物生育期遥感影像缺失的导致无法精准检测的情况尤为重要。尤其是在作物生长周期的主要拐点处,重建方法可以填补因云雾、噪声等因素影响而缺失的数据空白,这进一步导致了生长周期峰值迁移、斜率的上升以及物候指标日期的变化,这与图5~8展现出的结果相一致。

      图  9  原始数据与重建后数据的时间序列曲线对比

      Figure 9.  Comparison of time series curves between original data and reconstructed data

    • 精准的作物物候期提取是卫星遥感数据下游应用的关键任务[24]。时间序列中的连续间隙会阻碍准确的物候提取[25],这在高分辨率时序影像中的表现更为明显。在原始地表反射率数据的年时间序列中,在作物的生育期,入海口处常伴随大量云雨天气,遥感影像在年度时间序列中经历了较大的、连续的和重复的缺失区域,这会导致物候指标的检索复杂化[26]。原始影像中检索到的SOS和EOS中都存在大量的间隙,时间序列曲线也波动较大。在使用超分辨率方法重建这些空白影像后,作物生育期影像缺失的问题得到了缓解。

      在今后的研究中可以选择生长季影像缺失更为严重的试验区进行探讨,以更广泛地验证其在物候提取中的作用。另外本研究仅验证了单幅遥感分辨率重建技术在卫星影像时间序列重建和物候提取方面的可行性以及提取结果和原始数据、MODIS数据提取结果之间的差异,更精准的数据验证需要结合PhenoCam[27]等地面数据进行更进一步的探究。

    • 本研究提出了一种基于生成式遥感影像重建技术的物候提取新方法,通过GAN网络将异源影像分辨率升级并实现了光谱迁移,生成有效的图像数据来填补空白以重建中分辨率卫星Sentinel-2数据的时间序列。并提出了一种轻量化的PGT-GAN网络,它提取多个深度特征,以捕获分辨率重建时的光谱和空间信息,这种方法在SSIM和PSNR指标上表现良好。这表明该方法能有效重建缺失区域的纹理和细节信息,很大程度地保持光谱范围的一致性。本研究提出的方法可以通过一次完整训练实现全年影像较高精度的分辨率重建,且不同于时空融合,并不需要与研究区精确对应的高分辨率参考影像进行影像重建。在Sentinel-2/Landsat-8真实数据集上对重建后的时序数据进行了实验,将结果与原始物候提取结果、插值提取结果和MODIS提取结果进行了对比分析,结果表明:本研究方法在各组结果中都展现了可靠的性能,显著提升了10 m分辨率数据的时间分辨率。提出的结合遥感影像分辨率重建的时间序列重建方法为产生高质量的地表数据提供了一种可行的方法,生成的更密集的时间序列数据不但可以检测到作物不同物候阶段的精准变化,也可以为更高时空分辨率陆地表面物候提取提供支持。

参考文献 (27)

目录

    /

    返回文章
    返回