基于Python的矢量数据批处理方法研究_史秋晶.pdf

第 卷 第 期 年 月测绘与空间地理信息 ，收稿日期：作者简介：史秋晶（），女，江苏徐州人，高级工程师，硕士，年毕业于东南大学测量学与测量工程专业，主要从事地理信息系统应用开发方面的工作。基于 的矢量数据批处理方法研究史秋晶，李羽荟（江苏省地质勘查技术院，江苏 南京）摘要：生产实践中，海量数据的合并、整合烦琐而且容易出错。基于 语言，利用 平台的 站点包实现矢量数据的高效批处理，涉及数据库文件名批量删除前缀、图层文件名批量删除前缀、批量合并同名图层数据、标识码字段自动递增填充等一系列操作。该方法在第三轮矿产资源总体规划数据库建设中得到了应用，提升了工作效率和正确率。关键词：矢量数据；数据处理；批处理；中图分类号：文献标识码：文章编号：（），（，）：，：；引 言在海量数据生产中，数据库的合并、整合非常频繁，数据质量控制也经常涉及这些问题。基于 平台的手工处理方法往往烦琐而且容易出错，极大地考验着作业人员的耐心和细心。因此，本文在 平台下研发了基于 语言的批处理工具，并在第三次矿产资源总体规划的数据库建设成果中得到了应用，提升了工作效率。脚本语言和 站点包 是一种不受局限、跨平台的开源编程语言，它功能强大且简单易学，因而得到了广泛应用和支持。它还是一种支持动态输入的解释型语言，适用于交互式操作以及脚本一次性程序快速制作原型，同时具有编写大型应用程序的强大功能。是 平台的一个内容丰富的站点包，它以应用非常广泛而成功的 模块为基础，继承了 功能，通过使用 可以高效地执行地理数据分析、数据转换、数据管理和地图自动化。经常使用的是 站点包的、类库。矢量数据批处理关键问题海量矢量数据一般存放于 的个人地理数据库（格式）、文件数据库（格式）中，同类地理数据（如水系、道路、居民地、专题区域）等以图层的形式分别存储。在数据规范整合时往往遇到数据库文件名、图层名混乱的问题，需要先行预处理数据库文件名和图层名。统一名称后从不同数据库中提取同名图层（同一类要素），合并为 个新数据库，最后对新数据库的唯一标识码字段按自然数递增填充，该标识码将作为识别某一要素的唯一编码。数据库文件名批量删除前缀海量数据的来源复杂，由于作业员的命名习惯、数据流转等原因，数据库文件名称往往带有不同长度的前缀，删除这些前缀，有利于整合数据。利用 站点包中的解析文件路径、遍历数据库文件、要素类导入 个功能实现文件前缀批量删除。基于 的数据处理流程如图 所示。图 数据库文件名批量删除前缀流程图 调用的 语句如下：，（）：解析输入文件夹下的文件的路径 ：遍历文件：（）：指定脚本处理的文件类型（，）获取待处理 的绝对路径指定工作空间（，）（）：（）：（，）图层文件名批量删除前缀在数据库目录下，图层名称也存在带有不同长度前缀的问题。删除图层名前缀与删除数据库文件名前缀类似，不同的是需要遍历处理的是各个图层。基于 的数据处理流程如图 所示。图 图层文件名批量删除前缀流程图 调用的 语句如下：（）：（）：（，）批量合并同名图层数据常用的 数据形状包括、，首先要确定数据处理形状，同类的处理形状才能合并到一个图层，同时指定处理的目标图层名。使用 方法建立输出数据库，再依次遍历获取数据源的图层，如果是目标图层，则使用 方法将它的要素追加至输出数据库下的同名图层，否则跳过不处理。如图 所示。图 批量合并同名图层数据流程图 调用的 语句如下：，（）：解析输入文件夹下的文件的路径 ：遍历文件：（）：指定脚本处理的文件类型（，）获取待处理 的绝对路径指定工作空问（）获取地理数据库下的图层列表 ：判断指定图层是否存在（，）获取待处理图层的绝对路径（）：若输出数据库中已存在指定图层则：（，（），）若输出数据库中不存在指定图层则创建图层（，）将输入路径下的指 测绘与空间地理信息 年定图层追加至输出数据库下的同名图层 标识码字段自动递增填充利用全局变量 作为计数器，步长为 即可实现标识码字段名的自然数填充。在 语句中定义（）为计数函数，利用赋值给标识码字段名来实现。调用的 语句如下：（）：（）：标识码字段名（）调用 实例应用 数据分析第三轮矿产资源规划数据库建设工作中经常需要批量合并不同行政区划的成果数据，各地的成果数据文件名、图层名前缀含有行政区代码。如果人工依次合并，采用的方法一般为 平台的通用导入、导出功能，或是 目录树的复制和粘贴命令，或是地理处理的数据管理工具箱的合并工具。但这些方法都需要逐一选择数据源，当目标数据存储在不同地理空间下时，选择数据源就非常麻烦和消耗时间，而且当数据量庞大时，出错率也非常高。常规的数据合并方法是 平台的 工具箱。基于 的矢量数据批处理过程经过批量删除文件名前缀、批量删除图层名后，数据源重新整合，统一为不带前缀的、等形式。这时同类（同图层名）的数据通过批量处理，合并到一个新的数据库，实现了同名图层的整合。再利用 实现标识码字段自动按自然数递增填充，完整实现了同一市级下面各县级数据的合并。批量处理中的问题基于 的矢量数据批处理过程中，每一个环节出现问题都可以在 的“结果”对话框中查看，其中的“消息”一栏记录了工具运行的具体情况，可以根据情况查找 语句运行的问题。结束语本文针对人工合并、整合海量数据时遇到的效率低、容易出错的问题，在 平台下研究基于 语言的矢量数据批处理方法，调用 站点包里处理函数，较大程度上提高了工作效率和成果质量。该方法在第三轮矿产资源规划数据库建设中验证了可靠性，具有较高的实际应用价值，为类似项目的实施提供了参考。参考文献：牟乃夏，刘文宝，王海银，等 地理信息系统教程 从初学到精通北京：测绘出版社，美 面向 的 脚本编程李明巨，刘昱君，陶旸，等，译北京：人民邮电出版社，地理数据处理张云金，张明希，译北京：人民邮电出版社，徐中华 在市政工程巡查管理中的应用测绘通报（）：胡娈运，李春辉基于 的第三次国土调查耕地坡度级别赋值模型研究与应用测绘通报，（）：，张春义，程钢，张振辉基于 的 开发及案例应用地理空间信息，（）：，杨霄翼提高 地理处理工具执行效率的方法研究 测绘与空间 地 理 信 息，（）：，刘雄，李宇，陈刚 支持下的线要素几何自动接边与属性检查测绘通报，（）：胡红，赖鑫生基于 和 集成开发可达性分析工具的研究测绘工程，（）：叶宝莹，杨农利用 构建地形图分幅空间数据库测绘科学，（）：编辑：任亚茹（上接第 页）结束语针对国土空间领域核心关注对象的融合应用方法的关键技术探究，实现了全要素、全场景、全空间、全领域、全周期等“五位一体”的国土空间数据资产融合，以强大的 能力赋能国土空间基础信息平台，从而支撑各业务领域数据资源整合及价值信息探索这一重要目标，推进国土空间基础平台围绕自然资源核心业务并兼顾社会化公共需求的模式高效运行。参考文献：李仕峰多源异构数据时空融合关键技术研究与应用地理空间信息，（）：汉秋，王敬宇，赵理华基于人工智能的自然资源要素遥感解译的建设应用中国测绘，（）：杨俊，高云翔，巴特，等基于地理处理服务的自然资源资产审计系统设计与实现审计月刊，（）：杨建新，刘静，龚健，等不同空间聚类算法在识别优质集聚基本农田图斑中的应用及对比研究中国土地科学，（）：戴祯采用 技术实现湛江市规划用地红线的数字化管理测绘通报，（）：，编辑：张 曦第 期史秋晶等：基于 的矢量数据批处理方法研究