GeoScene 空间大数据分布式算子定制开发与应用集成.pdf

GeoScene 空间大数据分布式算子定制开发与应用集成易智瑞研究院大数据事业部李超目录GeoScene 4.0 空间大数据产品介绍GeoScene 4.0 空间大数据开发及扩展能力GeoScene 4.0 空间大数据自定义算子GeoScene 4.0 空间大数据应用集成GeoScene 空间大数据GeoScene 4.0 空间大数据产品介绍GeoScene GeoAnalytics Server 架构介绍GAGA集群服集群服务务外部数据外部数据内内部数据（部数据（DataStoreDataStore）NFSHDFSHIVE云存储关系库时空库托管托管GISGIS服务服务桌面桌面浏览器浏览器移动设备移动设备PortalPortal托管GIS服务和GA服务器GAGA集群服务集群服务外部数据外部数据内内部数据（部数据（DataStoreDataStore）NFSHDFSHIVE云存储关系库时空库托管托管GISGIS服务服务GA许可GA角色DataStore托管服务角色要素服务地图服务影像服务矢量切片服务几何服务GP服务。大数据分析服务大数据文件共享服务标准分析服务GeoScene GeoAnalytics Server 功能介绍-大数据文件共享大数据文件共享服务大数据文件共享服务数据格式Shape FileShape FileParquetCSVCSVORC存储介质HDFS,HIVEHDFS,HIVEAzure Data LakeNFS,CIFSNFS,CIFSAmazon S3输出模板输出模板GeoScene GeoAnalytics Server 矢量大数据分析工具汇总数据汇总数据聚合点构建多变量格网描述数据集连接要素重新构建追踪汇总属性范围内汇总查找位置查找位置监测事件查找停留位置地理编码查找相似位置数据丰富数据丰富从多变量网格丰富分析模式分析模式计算密度查找热点查找点聚类基于森林的分类与回归广义线性回归邻近分析邻近分析创建缓冲区管理数据管理数据追加数据计算字段裁剪图层复制到数据存储融合边界合并图层叠加图层创建时空立方体计算动态统计数据创建邻域事件地理加权回归汇总中心与离差其他其他重新构建轨迹捕捉轨迹 https:/portalurl/geoscene/home/webmap/viewer.html在经典版地图页面使用 GeoAnalytics 大数据分析工具选择分析工具选择分析工具选择分析数据选择分析数据填写参数填写参数执行分析执行分析查看分析结果查看分析结果https:/gaserverurl/gaserver/rest/services/System/GeoAnalyticsTools/GPServer/OverlayLayers/submitJob“url”:“https:/ GeoAnalytics 大数据分析工具点击提交任务填写输出服务名称填写叠加类型（Intersect）填写叠加图层参数填写输入图层参数打开OverlayLayers工具Rest页面https:/gaserverurl/gaserver/rest/services/System/GeoAnalyticsTools/GPServer/jobs/j41f97dbc64b44abc89758c021d3f68c6查看及管理GeoAnalytics分析任务GeoScene GeoAnalytics Server Plus 4.0资源管理数据治理在线建模自定义算子空间分析GA PlusPortalGA ServerHosted Server关系库时空库GeoScene GeoAnalytics Server Plus 4.0增加多种数据源的支持增加多种数据源的支持增加对栅格的支持增加对栅格的支持更多更多的的空间空间分析分析算子算子完善任务管理完善任务管理可视化业务可视化业务模型搭建模型搭建丰富的数据丰富的数据治理工具治理工具GeoScene GeoAnalytics Server Plus 4.0 数据源及数据格式PostgreSQL（PostGIS、SDE）共享文件夹FileGDBHDFS翰高数据库金仓数据库达梦数据库在线服务OracleShapefileGeoJSONEsriJSONCSVGeoTIFFGeoScene 空间大数据开发及扩展能力GeoScene GeoAnalytics Server Rest APIGeoScene GeoAnalytics Server RunPythonScriptGeoScene GeoAnalytics Server Plus 模型构建GeoScene GeoAnalytics Server Plus 模型接口GeoScene GeoAnalytics Server Plus 自定义算子GeoScene GeoAnalytics Server Plus 应用集成GeoScene 空间大数据开发及扩展能力GeoScene GeoAnalytics Server Rest APIhttps:/gis059.geoscene.local/gaserver/rest/services/System/GeoAnalyticsTools/GPServer/RunPythonScript/jobs/j90c1d674e8e44cffae8f2f7b79c8c6daGeoScene GeoAnalytics Server Rest API查看分析中的任务详情查看分析成功的任务详情查看分析成功的任务输出提交分析任务方法（方法1）监控任务进度方法构造参数调用方法1添加结果至地图使用 JS 调用 GeoScene 大数据分析工具 Rest APIGeoScene GeoAnalytics Server RunPythonScript读取数据和输出空间数据使用 GeoScene 空间大数据分析工具scSparkContext 实例sparkspark接口geoanalyticsGeoScene GA 分析工具集合内置的能力内置的能力内置的对象内置的对象3.2.1geoanalytics.overlay_layers叠加geoanalytics.project 投影GeoScene GeoAnalytics Server RunPythonScript 帮助文档在REST API 文档中定位到“GeoAnalytics(任务概念)运行 Python 脚本中的 GeoAnalytics 工具”章节，查看详细说明工具方法聚合点geoanalytics.aggregate_points 构建多变量格网geoanalytics.build_multi_variable_grid计算密度geoanalytics.calculate_density计算字段geoanalytics.calculate_field计算动态统计数据geoanalytics.calculate_motion_statistics裁剪图层geoanalytics.clip_layer创建缓冲区geoanalytics.create_buffers创建时空立方体geoanalytics.create_space_time_cube描述数据集geoanalytics.describe_dataset检测事件geoanalytics.detect_incidents融合边界geoanalytics.dissolve_boundaries从多变量格网丰富geoanalytics.enrich_from_multi_variable_grid查找停留位置geoanalytics.find_dwell_locations查找热点geoanalytics.find_hot_spots查找点聚类geoanalytics.find_point_clusters查找相似位置geoanalytics.find_similar_locations基于森林的分类与回归geoanalytics.forest_based_classification_and_regression广义线性回归geoanalytics.generalized_linear_regression地理编码位置geoanalytics.geocode_locations地理加权回归geoanalytics.geographically_weighted_regression按邻近性分组geoanalytics.group_by_proximity连接要素geoanalytics.join_features合并图层geoanalytics.merge_layers叠加图层geoanalytics.overlay_layers重新构建轨迹geoanalytics.reconstruct_tracks汇总属性geoanalytics.summarize_attributes汇总中心与离差geoanalytics.summarize_center_and_dispersion范围内汇总geoanalytics.summarize_within追踪邻近事件geoanalytics.trace_proximity_events投影geoanalytics.project#用地报批JSYDBP_url=https:/gis059.geoscene.local/gaserver/rest/services/DataStoreCatalogs/bigDataFileShares_LCGITIC/BigDataCatalogServer/JSYDSBP_HLX#土地供应TDGY_url=https:/gis059.geoscene.local/gaserver/rest/services/DataStoreCatalogs/bigDataFileShares_LCGITIC/BigDataCatalogServer/TDGY_HLXJSYDBP=spark.read.format(webgis).load(JSYDBP_url)TDGY=spark.read.format(webgis).load(TDGY_url)overla=geoanalytics.overlay_layers(JSYDBP,TDGY)overla.write.format(webgis).option(dataStore,spatiotemporal).save(“test_lc_overlay_layers)GeoScene GeoAnalytics Server RunPythonScript使用RunPythonScript构建业务分析模型描述将历年建设用地报批数据、供地数据进行叠加分析，分析已批复但未供信息。图层建设用地报批数据(JSYDBP)、土地供应数据(TDGY)输入项目范围或行政区（带年度信息）的Geometry，建设用地报批数据(JSYDBP)，土地利用供应数据(TDGY)输出批而未供地块信息实现流程1.根据获取建设用地报批数据和土地供应数据；2.将建设用地报批数据和土地供应数据按范围（前端以参数形式传递进来）进行叠加分析；3.对于叠加分析后的结果，依次遍历每条记录，去除属性表中原供应行政区属性为空或原报批行政区属性为空的记录（跨区域的报批和供应由上级区域处理）；4.对步骤三的结果获取报批编号的唯一值，依次查询每个报批编号包含的地块，获取每个报批编号对应的一个或多个地块；5.用属性表中的报批面积分别减去每个地块的图形面积（最后得出批而未供面积表）开始Geometry停止年度建设用地报批数据(JSYDBP)年度土地供应数据(TDGY)叠加分析叠加分析结果去空报批编号获取地块地块数据计算批而未供面积表12345使用RunPythonScript构建业务分析模型相交叠加分析（多次）过滤计算面积计算字段（单位转换）边界融合计算面积差发布服务使用 JS API 调用 RunPythonScript 工具GeoScene GeoAnalytics Server Plus 模型构建GeoScene GeoAnalytics Server Plus 模型构建模型构建运行结果Python脚本运行结果GA Plus 自定义算子增加读取新数据格式算子增加写出新数据格式算子增加新的分析能力算子增强现有的算子多个已有的分析方法组合业务模型封装为单个工具GA Plus 自定义算子不支持的数据格式其他空间分析功能需求非空间分析功能现有的算子不够完善复杂流程重用GeoScene GeoAnalytics Server Plus 自定义算子编写Python在Rest页面测试注册算子配置输入输出在线建模GeoScene GeoAnalytics Server Plus 自定义算子在GA+中点击右上角帮助按钮进入帮助文档，在帮助文档中点击“自定义算子”进入自定义算子开发文档页面GeoScene GeoAnalytics Server Plus 自定义算子主函数包含一个特殊命名的函数包含一个特殊命名的函数提供必要的参数提供必要的参数依赖包在函数内部导入依赖包在函数内部导入可以返回多个返回值可以返回多个返回值GeoScene GeoAnalytics Server Plus 自定义算子场景一把json格式的多边形转为图层对象算子主函数测试脚本函数名称：函数名称：geometry_json_to_df输入参数：输入参数：jsonstr（字符串类型）（字符串类型）返回值：返回值：df（图层）（图层）GeoScene GeoAnalytics Server Plus 自定义算子输入脚本输入可执行方法保存算子主体添加输入参数添加输出参数在GA+中注册自定义算子GeoScene GeoAnalytics Server Plus 自定义算子输入输出配置输入参数配置：输入参数配置：参数类型：控制界面上输入组件文本数字要素图层栅格图层字典方法值类型：由Python方法的参数类型决定要素图层栅格图层字符串Json数字参数名称必须和Python脚本中的参数名称一致GeoScene GeoAnalytics Server Plus 自定义算子输入输出配置输出参数配置：输出参数配置：参数类型：控制界面输出方式 要素图层 栅格图层 表格 文本 文件默认输出方式 网络服务：图层和表格必须是网络服务 json：数据会打印到日志中，系统解析后获取完自定义算子的使用自定义算子场景二（文本处理）文本数据keywordkeywordcountcount崩了474Soul53姐妹11统计词频读取文本文件分词统计自定义算子场景二（文本处理）新添加两个算子在模型中使用算子查看输出要素服务读取文本文件分词统计发布服务GeoScene GeoAnalytics Server Plus 模型接口数据关系数据库Postgresql金仓Oracle.文件存储NFSHDFS非关系数据库ESHbase云储存阿里云亚马逊云MongoDB华为算子GA Server叠加图层连接要素汇总属性机器学习融合边界 GA Plus数据治理数据读写数据监测数据清洗空间分析机器学习模型自然资源基础测绘交通运输.水运港口智慧城市城市管理城市设计国土空间规划.公路公共安全农业及水利.公安应急管理.水利农业生态环境气象环保.Web桌面应用系统REST 服务服务模型Rest接口GeoScene GeoAnalytics Server Plus 模型接口在模型编辑页面开启模型接口选项，把当前的模型共享为Rest接口。GeoScene GeoAnalytics Server Plus 模型接口测试页面显示该模型的调用地址、参数定义在JS中调用模型接口提交分析任务方法（方法1）监控任务进度方法构造参数调用方法1添加结果至地图GA Plus代理配置在JS中调用模型接口GAPlus 服务接口调用说明用户管理地图工程数据资源数据治理数据体检空间分析在线建模任务管理自定义算子GeoScene 时空大数据业务系统及平台集成数据关系数据库Postgresql金仓Oracle.文件存储NFSHDFS非关系数据库ESHbase云储存阿里云亚马逊云MongoDB华为算子GA Server叠加图层连接要素汇总属性机器学习融合边界 GA Plus数据治理数据读写数据监测数据清洗空间分析机器学习模块Web桌面应用系统功能页面功能页面模型构建资源管理空间分析数据治理任务管理服务接口服务接口GeoScene 时空大数据业务系统及平台集成数据资源资源管理大数据分析数据治理数据分析在线建模在线建模模型库分析任务任务列表任务详情获取portalToken拼接地址加载页面使用功能页面使用功能页面（演示）总结GeoScene GeoAnalytics Server Rest APIGeoScene GeoAnalytics Server RunPythonScriptGeoScene GeoAnalytics Server Plus 模型构建GeoScene GeoAnalytics Server Plus 自定义算子GeoScene GeoAnalytics Server Plus 模型接口GeoScene GeoAnalytics Server Plus 应用集成GeoScene空间大数据GA Server汇总数据数据丰富邻近分析查找位置分析模式管理数据GA Plus资源管理数据治理在线建模空间分析任务管理数据体检丰富的分析算子高效的分析能力简单的使用方式便捷的开发接口详细的开发文档工具方法聚合点geoanalytics.aggregate_points 构建多变量格网geoanalytics.build_multi_variable_grid计算密度geoanalytics.calculate_density计算字段geoanalytics.calculate_field计算动态统计数据geoanalytics.calculate_motion_statistics裁剪图层geoanalytics.clip_layer创建缓冲区geoanalytics.create_buffers创建时空立方体geoanalytics.create_space_time_cube描述数据集geoanalytics.describe_dataset检测事件geoanalytics.detect_incidents融合边界geoanalytics.dissolve_boundaries从多变量格网丰富geoanalytics.enrich_from_multi_variable_grid查找停留位置geoanalytics.find_dwell_locations查找热点geoanalytics.find_hot_spots查找点聚类geoanalytics.find_point_clusters查找相似位置geoanalytics.find_similar_locations基于森林的分类与回归geoanalytics.forest_based_classification_and_regression广义线性回归geoanalytics.generalized_linear_regression地理编码位置geoanalytics.geocode_locations地理加权回归geoanalytics.geographically_weighted_regression按邻近性分组geoanalytics.group_by_proximity连接要素geoanalytics.join_features合并图层geoanalytics.merge_layers叠加图层geoanalytics.overlay_layers重新构建轨迹geoanalytics.reconstruct_tracks汇总属性geoanalytics.summarize_attributes汇总中心与离差geoanalytics.summarize_center_and_dispersion范围内汇总geoanalytics.summarize_within追踪邻近事件geoanalytics.trace_proximity_events投影geoanalytics.project