根据国际卫星对地观测委员会CEOS(Committee on Earth Observation Satellites)的全球卫星任务统计数据,从1960年第一颗美国气象卫星成功发射至今,截止2020-09底,地球轨道上已有558颗对地观测卫星,人类已有半个多世纪全球尺度的历史遥感数据积累。遥感技术迅速发展,空间分辨率、时间分辨率、光谱分辨率等技术指标不断提高,在遥感数据的获取上也趋于多平台、多传感器、多角度的特点。遥感平台和传感器的不断改进和增加使得各种遥感数据量快速增加,在数据层面上已经体现了体量大(Volume)、种类多(Variety)、变化快(Velocity)、准确性(Veracity)和高价值(Value)的“5V”特征,我们进入了一个前所未有的遥感大数据时代。相较于低时空分辨率或时空采样稀疏、不连续的传统遥感数据,遥感大数据具有多方面优势:(1)更追求高分辨率、时空连续的全局数据而不是随机或稀疏采样,(2)更有利于洞察宏观层面的趋势而不是局部的精确度,(3)更注重多因子相关性分析解决问题、而不热衷构建难度更大的因果关系。遥感大数据能提供地物更为精细的属性信息,有助于将地球系统作为一个整体进行研究,揭示其变量之间错综复杂的联系。
不断涌现的海量遥感数据需要大量的存储和计算资源,而传统的台式机或服务器难以满足这一需求。这促使大家寻求新的、第4种或“大数据”科学范式,这种科学范式强调国际合作、数据密集分析、巨大计算资源和高端可视化(
本文在分析国内外遥感云计算平台发展现状和地球科学应用的基础上,分析了现有遥感云计算平台的局限性和未来发展方向,提出中国遥感云计算平台建设和发展建议,以期为科学重大发现和国家重大应用提供支持。
目前遥感云计算平台主要以美国谷歌地球引擎GEE(Google Earth Engine)(
截止2019-09,GEE共享数据量已超过29 PB,包括超过290个公共的数据集、500万景影像,每天数据量增加大约4000景影像,包括(1)遥感影像数据,包括全球尺度的陆地资源卫星Landsat系列、哨兵Sentinel系列、中等分辨率成像光谱仪MODIS,以及局部区域的高分辨率影像等数据;(2)地形数据,包括地形数据包括全球高程数据,如SRTM(Shuttle Radar Topography Mission)等,以及区域高程数据,如ArcticDEM等;(3)土地覆被数据,包括全球土地覆被,如GlobCover等,以及区域土地覆被,如NLCD(National Land Cover Database)等;(4)天气、降雨和大气数据,包括表面温度和发射率、长期气候预测和历史插值地表变量、卫星观测反演的大气数据以及短时间预测和观测的天气数据等;(5)人口数据,包括WorldPop和GPW(Gridded Population of the World)两类数据;(6)其他栅格数据,包括全球森林冠层树高Global Forest Canopy Height数据等;以及(7)部分矢量数据,如RESOLVE Ecoregions等(
GEE主要共享数据集
数据集 | 标称空间分辨率 | 时间粒度 | 时间覆盖 | 空间覆盖 | ||||
---|---|---|---|---|---|---|---|---|
遥 感 影 像 | Landsat | Landsat 8 OLI/TIRS | 30 m | 16 d | 2013—现在 | 全球 | ||
Landsat 7 ETM+ | 30 m | 16 d | 2000—现在 | 全球 | ||||
Landsat 5 TM | 30 m | 16 d | 1984—2012 | 全球 | ||||
Landsat 4—8 surface reflectance | 30 m | 16 d | 1984—现在 | 全球 | ||||
Landsat 1—5 MMS | 60 m | 16 d | 1972—1999 | 全球 | ||||
Sentinel | Sentinel 1 A/B ground range detected | 10 m | 6 d | 2014—现在 | 全球 | |||
Sentinel 2A MSI | 10/20 m | 10 d | 2014—现在 | 全球 | ||||
Sentinel-3 OLCI EFR: Ocean and Land Color Instrument | 300 m | 约2 d | 2016—现在 | 全球 | ||||
Sentinel-5P TROPOMI: TROPOspheric Monitoring Instrument | 0.01弧度 | 近实时 | 2018—现在 | 全球 | ||||
MODIS | MOD08 atmosphere | 1° | 每天 | 2000—现在 | 全球 | |||
MOD09 surface reflectance | 500 m | 每天/8 d | 2000—现在 | 全球 | ||||
MOD10 snow cover | 500 m | 每天 | 2000—现在 | 全球 | ||||
MOD11 temperature and emissivity | 1000 m | 每天/8 d | 2000—现在 | 全球 | ||||
MCD12 Land cover | 500 m | 每年 | 2000—现在 | 全球 | ||||
MOD13 Vegetation indices | 250/500 m | 16 d | 2000—现在 | 全球 | ||||
MOD14 Thermal anomalies & fire | 1000 m | 8 d | 2000—现在 | 全球 | ||||
MCD15 Leaf area index/FPAR | 500 m | 4 d | 2000—现在 | 全球 | ||||
MOD17 Gross primary productivity | 500 m | 8 d | 2000—现在 | 全球 | ||||
MCD43 BRDF-adjusted reflectance | 500/1000 m | 8 d/16 d | 2000—现在 | 全球 | ||||
MOD44 veg. cover conversion | 250 m | 每年 | 2000—现在 | 全球 | ||||
MCD45 thermal anomalies and fire | 500 m | 30 d | 2000—现在 | 全球 | ||||
ASTER | L1 T radiance | 15/30/90 m | 每 d | 2000—现在 | 全球 | |||
Global emissivity | 100 m | 一次 | 2000—2010 | 全球 | ||||
SMAP | Global soil moisture | 0.25度 | 3 d | 2010—现在 | 全球 | |||
其他遥感数据 航空遥感数据 | PROBA-V top of canopy reflectance | 100/300 m | 2 d | 2013—现在 | 全球 | |||
EO-1 hyperion hyperspectral radiance | 30 m | 基于目标 | 2001—现在 | 全球 | ||||
DMSP-OLS nighttime lights | 1 km | 每年 | 1992—2013 | 全球 | ||||
VIIRS Nighttime | 15弧秒 | 月 | 2012—现在 | 全球 | ||||
Planet SkySat Public Ortho Imagery | 0.8/2 m | 无周期 | 2014—2016 | 全球部分区域 | ||||
USDA NAIP aerial imagery | 1 m | 半年 | 2003—2018 | 美国本土 | ||||
地形数据 | Shuttle Radar Topography Mission | 30 m | 单次 | 2000 | 60°N—54°S | |||
USGS National Elevation Dataset | 10 m | 单次 | 多次 | 美国 | ||||
USGS GMTED2010 | 7.5弧秒 | 单次 | 多次 | 83°N—57°S | ||||
GTOPO30 | 30弧秒 | 单次 | 多次 | 全球 | ||||
ETOPO1 | 1弧分 | 单次 | 多次 | 全球 | ||||
ALOS DSM | 30 m | 单次 | 多次 | 全球 | ||||
Australian 5M DEM | 5 m | 单次 | 多次(2001—2015) | 澳大利亚 | ||||
AHN Netherlands 0.5m DEM | 0.5 m | 单次 | 多次(2007—2012) | 荷兰 | ||||
Canadian Digital Elevation Model | 0.75弧秒 | 单次 | 多次 | 加拿大 | ||||
ArcticDEM | 2/5 m | 单次 | 多次 | 60°N以北,及阿拉斯加,勘察加半岛 | ||||
CryoSat-2 Antarctica 1km DEM | 1 km | 单次 | 多次(2010—2016) | 南极 | ||||
WWF HydroSHEDS Hydrologically Conditioned DEM | 3/15/30弧秒 | 单次 | 2000 | 全球 | ||||
土地覆被 | GlobCover | 300 m | 无周期 | 2009 | 90°N—65°S | |||
USGS National Landcover Database | 30 m | 无周期 | 1992—2016 | 美国本土 | ||||
UMD global forest change | 30 m | 每年 | 2000—2019 | 80°N—57°S | ||||
JRC global surface water | 30 m | 每月 | 1992—2019 | 78°N—60°S | ||||
GLCF tree cover | 30 m | 5年 | 1992—2016 | 全球 | ||||
USDA NASS cropland data layer | 30 m | 每年 | 1992—2019 | 美国本土 | ||||
天气,降水和大气 | Global precipitation measurement | 6弧分 | 3小时 | 2014—现在 | 全球 | |||
TRMM precipitation | 15弧分 | 3小时/每月 | 1998—现在 | 50°N—50°S | ||||
CHIRPS precipitation | 3弧分 | 5 d | 1981—现在 | 50°N—50°S | ||||
NLDAS-2/2.1 | 7.5弧分 | 1小时 | 1979—现在 | 北美 | ||||
GLDAS-2/2.1 | 15弧分 | 3小时 | 1948—现在 | 全球 | ||||
NCEP reanalysis | 2.5度 | 6小时 | 1948—现在 | 全球 | ||||
ORNL DAYMET weather | 1 km | 每年 | 1980—现在 | 北美 | ||||
GRIDMET | 4 km | 每天 | 1979—现在 | 美国本土 | ||||
NCEP global forecast system | 15弧分 | 6小时 | 2015—现在 | 全球 | ||||
NCEP climate forecast system | 12弧分 | 6小时 | 1979—现在 | 全球 | ||||
WorldClim | 30弧秒 | 12景影像 | 1960—1990 | 全球 | ||||
NEX downscaled climate projections | 1 km | 每天 | 1950—2099 | 北美 | ||||
人口 | WorldPop | 100 m | 5年 | 多次(2000-2020) | 全球 | |||
GPW | 30弧秒 | 5年 | 2000—2020 | 85°N—60°S | ||||
其他数据 | Global Forest Canopy Height | 30弧秒 | 单次 | 2005 | 全球 | |||
部分矢量数据 | RESOLVE Ecoregions | 单次 | 2017 | 全球 | ||||
US EPA Ecoregions | 单次 | 2013 | 美国 | |||||
Large Scale International Boundary | 单次 | 2017 | 全球 | |||||
TIGER : US Census States/Road/Countries/Blocks | 单次 | 2010, 2018 | 美国 | |||||
WWF HydroSHEDS Free Flowing Rivers Network v1 | 单次 | 2000 | 全球 | |||||
FAO Global Administrative Unit Layers | 单次 | 2015 | 全球 | |||||
GLIMS: Global Land Ice Measurements from Space | 单次 | 2017 | 全球 | |||||
Global Power Plant Database | 单次 | 2018 | 全球 | |||||
NOAA NHC HURDAT2 Atlantic hurricane catalog | 单次 | 1851—2018 | 大西洋盆地 | |||||
NOAA NHC HURDAT2 Pacific hurricane catalog | 单次 | 1949—2018 | 太平洋盆地 | |||||
WDPA: World Database on Protected Areas | 每月 | 2017—现在 | 全球 |
GEE提供了大量函数,包括11个大类,即(1)数值运算Numerical operations,(2)数组/矩阵运算Array/matrix operations,(3)机器学习Machine learning,(4)其他逐像素影像操作,(5)核运算Kernel operations,(6)其他影像运算Other Image Operations,(7)数据整合Reducers,(8)几何运算Geometry Operations,(9)表格/集合运算Table/collection operations,(10)矢量/栅格运算Vector/raster operations,(11)其他数据类型Other data types。这些函数的运算模式主要有8种,即(1)逐像元Per pixel,(2)逐矢量Per feature,(3)逐影像Per image,(4)逐影像瓦片Per image tile,(5)逐瓦片Per tile,(6)上下文相关Context-dependent,(7)流Streaming,(8)离散/聚集Scatter/gather(
除了Google公司的GEE,其他遥感云计算平台也发展起来,例如美国航空航天局NASA(National Aeronautics and Space Administration)的NEX(NASA Earth Exchange)(
当前国际和国内主要遥感云计算平台对比
遥感云计算平台 | 可用数据 | API | 网址 |
---|---|---|---|
GEE(美国) | 遥感影像数据,地形数据,土地覆被数据,天气、降雨和大气数据,人口数据等,部分矢量数据 | JavaScript,Python | https://earthengine.google.com/ |
NEX(美国) | MODIS,Landsat,VIIRS,GOES,Sentinel-2,NEX降尺度气候模拟数据集等 | MATLAB,IDL等 | https://www.nasa.gov/nex/ |
笛卡尔实验室Descartes Labs (美国) | 遥感影像(Landsat,Sentinel,SPOT,Pleiades等),气象数据(NCEP CFSR,NOAA GSOD,NOAA GFS等),高程数据,地理位置/AIS数据,土地利用数据等 | Python | https://www.descarteslabs.com/ |
AWS(美国) | Landsat 8,Sentinel 1/2,中巴地球资源卫星(CBERS)数据,OpenStreetMap数据等 | C++,Go,Java,JavaScript,.NET,Node.js,PHP,Python,Ruby | https://aws.amazon.com/cn/earth |
数据立方体Data Cube(澳大利亚) | Landsat,Sentinel,MODIS,水体,潮间带高程,植被覆盖,动态土地覆被数据集等 | Python | https://www.opendatacube.org |
CODE-DE(德国) | Sentinel,Landsat,土地覆被 | Python | https://code-de.org/ |
地球大数据挖掘分析系 统EarthDataMiner(中国) | 卫星遥感数据,生物生态数据,大气海洋数据,基础地理数据及地面观测数据;地层学与古生物数据、中国生物物种名录、微生物资源数据、组学数据 | Python | http://earthdataminer.casearth.cn/ |
PIE-Engine(中国) | Landsat,Sentinel,葵花-8数据集 | JavaScript | https://engine.piesat.cn/engine/#/home |
从可用数据,API和计算平台几个方面,对其他遥感云计算平台进行归纳,可得知:
(1)可用数据。大部分的遥感云计算平台上的可用数据为公开免费获取的中低分辨率卫星遥感数据(如Landsat,Sentinel,MODIS等),高程数据,土地利用数据,和模型模拟结果数据,如NEX降尺度气候模拟数据集,NCEP(National Centers for Environmental Prediction)CFSR(Climate Forecast System Reanalysis )数据等(
(2)API。
(3)计算平台类型。几种遥感云计算平台都部署在云端,例如NEX部署在NASA Ames研究中心的先进超算部门,笛卡尔实验室Descartes Labs部署在Google云平台,AWS部署在亚马逊云,CODE-DE部署在法兰克福数据中心,地球大数据挖掘分析系统EarthDataMiner部署在地球大数据科学工程云平台,PIE Engine部署在华为云和亚马逊云。
除了上述遥感云计算平台,基于商汤SenseRemote智能遥感解译算法的SenseEarth(
截止到2020-09,遥感云计算平台以GEE应用最为广泛,其他的还包括NEX,EarthDataMiner等。这里以GEE的科学应用为例,对遥感云计算平台在地球科学方面的应用进行概述。自GEE发布以来,研究人员已经利用GEE开展了影像处理、水土气生4个方面应用以及在土地覆被、城市、农业、灾害和其他地学领域的工作(
以Nature(含子刊)、Science(含子刊)和美国国家科学院院刊(PNAS)为主期刊上发表的文章为例,截止2020-08底,GEE被应用于多个方面:(1)与土地覆被/土地利用相关应用:如全球/区域森林变化(
同时,也利用GEE将相关工作进行了典型应用展示(软件即服务,Software as a Service,SaaS),例如: 全球森林监测(Global Forest Watch,
由此可见,遥感云计算的应用已成为研究土地利用变化、生态和环境变化、气候变化等地学领域前沿问题的重要工具,并已开始应用于经济研究等方面。大尺度、高分辨率、长时间序列的快速计算和应用成为可能,且这些数据与计算结果可在遥感云计算平台方便地进行共享,迎来了向多种应用场景开放的局面。
遥感云计算平台取得了较大的进展,并推动了全球尺度重要科学成果的出现。但目前国际上主流的遥感云计算平台仍以国外相关机构或公司开发的产品为主(如GEE,AWS)。充分认识当前领先的遥感云计算平台,并在此基础上推动我们自主研发平台的建设,是中国地球科学领域亟待解决的问题。目前遥感云计算平台还有一定的局限性。这也是未来发展中国自主遥感云计算平台的着力点。
目前遥感云计算平台的局限性体现在存储和计算资源有限性,部分数据类型格式不兼容,对不同投影的转换和支持不够,难以实现像元间计算,不支持移动端,地图出版模块欠缺。
(1)存储和计算资源的有限性:以GEE为例,一般用户的存储空间(Assets)只有250 G,另外,GEE在海量栅格数据处理速度上较为便捷,但在海量矢量数据(例如Orbcomm卫星在2018年每天的全球AIS数据量达到千万条数据记录)处理速度上,优势并不明显。
(2)部分数据类型格式不兼容:以GEE为例,目前支持的数据格式有矢量的shp格式,文本的csv格式,以及栅格geotiff格式,TFRecord格式。而对于科学研究中常用的HDF(Hierarchical Data Format)格式,LiDAR(Light Detection and Ranging)点云数据格式等并不支持,这限制了遥感云计算平台的应用领域。
(3)对不同投影格式支持不够:目前遥感云计算平台仅支持类似WGS84的投影,而对于其他投影并不支持。若试验区在北极或者南极,在WGS84坐标系下,遥感数据的像元在北极或者南极会被放大拉伸,同时,有可能丢失可能发现的空间相关信息。
(4)难以实现像元间计算:目前很多遥感计算分析模型都用到了像元间的分析模型,例如用到了滑动窗口的时空融合模型STARFM(Spatial and Temporal Adaptive Reflectance Fusion Model)(
(5)不支持移动端的应用:目前遥感云计算平台并没有完全支持手机,平板移动端,而移动端的支持,意味着用户可以随时用手机,平板查看,记录和分析当前位置的云端遥感数据,矢量数据。和实地验证信息进行结合,可以迅速获得在室内无法取得的信息。
(6)排版制图模块不够完善:对于科研用户来说,高质量的结果分析图,对于科研成果共享,发表非常重要。以GEE为例,目前结果只能在地图上显示,并不能完成标准制图工作,包含指北针,图例和比例尺等以及常用图片(格式pdf,eps或者tif)的输出。
在认识目前遥感云计算平台局限性的基础上,中国遥感云计算平台在发展过程中需要考虑以下几点:
(1)整合多源数据资源,特别是国产遥感数据。目前中国已有资源系列、高分系列、风云系列、海洋系列、环境与灾害监测系列等遥感卫星数据,将包括国产遥感数据在内的中国自主数据整合入遥感云计算平台数据集,将是中国自主遥感云计算平台的独特优势,在国内相关的地学应用中将发挥重要作用。
(2)保证遥感数据质量和可靠性。数据是遥感云计算平台的基础,高质量和可靠的数据,如标准化、带质量控制信息的国产遥感数据产品(例如地表反射率),会让更多的用户参与和使用中国数据,有助于提升中国遥感产业,发展国际影响力。
(3)推动数据驱动的新地学研究范式。在遥感大数据时代背景下,基于共享、开放的遥感云计算平台,和海量遥感数据,进行多因子相关性分析,对地学事件和地学要素时空关联进行更深入的理解,有利于推动新的地学知识发现。
遥感大数据时代已经来临,如何充分挖掘遥感大数据,实现全面快速的地球空间信息感知,是地球科学领域共同面对的挑战。遥感云计算平台为海量地球空间信息处理提供了机遇,并且在地球科学领域已得到了众多应用。相比于国外,目前中国的遥感云计算平台尚处于起步阶段,但中国国产卫星的使用将使得中国遥感云计算平台具有独特优势。随着技术的发展,以及人类进一步认识地球的需求,遥感云计算平台将得到更多的应用和发展,为更深入理解地学规律,实现人类社会可持续发展提供科学支撑。