原文发布时间:2014-03-05

作者:一峰

FME支持很多种数据库格式,包括Oracle、ArcSDE、SQLServer、DB2、google、PostGIS、MySQL等等,而我们经常用到的空间数据库可能只有Oracle Spatial和ArcSDE,下面以ArcSDE为例介绍空间数据库的参数设置。

我们对空间数据库的操作无非就是读取和写入,

空间数据库读取

FME通过添加读模块进行数据读取,数据库的读取首先要连接数据库,连接方法前面博客中有详细介绍http://blog.163.com/antufme@126/blog/static/14049249220121019532878/,

读模块添加完成后,高级设置中有3个常用的参数:

1.     用于加载数据库的表

2.       WHERE Clause:条件过滤,这个参数非常重要,有的表数据量非常大,但是我们并不需要读取表的全部数据,只需要读取满足部分逻辑条件的数据,就可以通过输入条件进行查询,eg: XZQ LIKE “%12306%,这样大大提高模板效率。

3.       Minimum X,Minimum Y,Maximum X,Maximum Y:这4个参数是对空间数据而言的,通过设置X/Y的最大最小范围进行空间查询,与Clip to Search Envelope参数配合使用,Clip to Search Envelope设置为YES意味着以范围进行裁剪(有的要素部分在范围内),如果设置为NO,则不裁剪(那么只有完全包含在范围内的要素才被查询出来)。

我们以前的做法可能是将整个表读取,通过tester进行逻辑判断,或者通过SpatialFilter进行空间判断,这样的话效率非常低,因为如果数据上千万条,那么FME光读取数据的时间就会很长,然后处理,效率极低;如果通过上面的参数设置,那么会大大减少数据的读取量,提高模板效率。

小结:通过参数设置,可以根据逻辑和空间关系进行查询,提高数据读取效率。另外这些所有参数都可以进行发布,通过用户输入或者外部调用的方式传递。

空间数据库写入

FME是通过添加写模块进行数据库写入,数据库连接介绍:

https://blog.csdn.net/fmechina/article/details/80872539

数据库写入同样有一些参数设置对我们工作帮助很大

1.    否先删除表,如果写入数据库中已存在同名表,设置为YES则删除已存在的表,重新创建表;如果设置为NO,则直接写入已存在的表中。

2.       Truncate Table First:是否先清空表,如果写入数据库中已存在同名表,设置为YES则先清空表中的数据,然后写入;如果设置为NO,则直接写入已存在的表中

3.       Update Key Fields:更新关键字段,如果对数据库中的要素进行更新,则此处设置更新的关键字段,当然这里需要与FME的一个格式参数(fme_db_operation)进行配合使用,下一篇博客专门介绍fme_db_operation,如何实现数据库更新。

4.       Feature Dateset:设置关于设置要素集,要素集就是要素类的集合,用于对数据进行分类,这里要素集名称。

另外,在写模块高级中有两个非常重要的参数,对我们的工作帮助非常大:

5.       Features to Write Per Transaction:FME事务处理机制,设置每次事务提交的要素个数,事务一旦提交,就无法回滚。那么这个参数对我们有什么用呢?实际上我们在数据入库的时候经常会出现,数据入库到一半的时候,由于某种原因模板运行失败了,那么我们希望写入的数据进行回滚,除非一次性成功,否则回滚,那么就可以将这个参数设置到足够大。

6.       Ignore Failed Features:是否忽略失败要素,我们在数据写入的时候经常会遇到数据自相交、无效等问题导致数据入库失败,如果设置为YES,则忽略掉这些错误要素;如果设置为NO,则只要导致写入失败,模板就停止,这可以与事务参数进行配合设置。

总结:通过FME的这些参数设置能够为我们数据库操作带来很多方便,但是最主要的还是要根据我们工作中的实际问题和实际需要进行参数设置,才能为我们工作提高效率。

下一篇将继续介绍数据库更新,通过哪些设置来完成对数据库的增/删/改。

FME与空间数据库的读写相关推荐

  1. 基于三维GIS的集中供热平台的三维数字化

    城市管网是城市正常运转的生命线和基础设施,供热管线是城市管网的重要组成部分.2014年6月发布的<国务院办公厅关于加强城市地下管线建设管理的指导意见>,明确提出了城市管线数字化管理的要求. ...

  2. FME对CAD扩展属性的读写

    原文发布时间:2011-04-13 作者:怕冷的企鹅 首先,FME2011最新的版本可以支持CAD几类不同的版本:从早期的Release9一直到现在Release2010,默认的创建新目标数据的版本为 ...

  3. FME中的空间数据库转换器

    原文发布时间:2014-03-12 作者:一峰 之前几篇文章介绍了空间数据库的读/写以及数据库更新,本文继续介绍数据库操作的转换器. FME提供了一系列关于数据库操作的转换器,为我们对数据库查询操作带 ...

  4. FME读写cass数据的方案及操作流程

    FME读写cass数据的方案及操作流程 一.CASS数据转换(一)读取南方CASS数据 南方CASS数据采用AutoCAD的DWG.DXF文件方式进行存储,用FME可以直接对DWG\DXF文件进行读取 ...

  5. FME实现VCT格式的读写(变更数据库、自然资源确权数据库转VCT格式)

    前言 国土资源部在国家标准<地理空间数据交换格式>(GB/T17798-2007)基础上制定了土地利用数据交换格式,土地利用数据仅描述矢量数据,文件的后缀名为VCT,简称为 VCT 文件, ...

  6. 学习《Building Applications with FME Objects》 之四 从数据集读取要素

    FMEOReader可以访问任何支持格式的数据. FMEOReader返回两类要素:schema(模式)要素和数据要素,模式要素用于描述数据集模型.每种支持的格式都有一个模式,一个模式要素是一类要素的 ...

  7. FME进阶视频教程: FME使用技巧之高级扇出,讲解在FME中输出数据的高级方式,满足数据个性化分类输出的需求

    教程简介 FME是一套将不同GIS数据模型和要素进行整合处理的强大软件软件,可用于读写存储和转换各种空间数据.FME支持超过300种数据格式的读写,满足日常办公.测绘.地理信息等方面的数据读写.处理需 ...

  8. 空间数据库之矢量数据上载方法

    转载自:http://publishblog.blogchina.com/blog/tb.b?diaryID=5349656 摘  要:采用Oracle Spatial 存储.管理空间数据,易于解决数 ...

  9. 2019FME博客大赛——【零编码】利用FME实现城市高德路况抓取及增量更新——以深圳为例

    参赛单元:互联网.大数据及云计算 作者:杨忠智 单位:平安国际智慧城市科技股份有限公司 前言 继续我的[零编码]系列. 简单是美.虽为"码农",但本身还是个GISer,所以在进行数 ...

最新文章

  1. 毫米波雷达基本技术与应用
  2. 搬家到新地址:http://kittsoft.xp3.biz/,欢迎访问!
  3. CDI中的事务异常处理
  4. Java规范请求中的数字
  5. @SpringBootApplication(exclude={DataSourceAutoConfiguration.class})注解作用
  6. 在和人相处时的即时通讯软件
  7. 计算机一级windows系统操作知识点,计算机一级考试:高分必看知识点之windows操作...
  8. 苹果官方将首次参与天猫 618 促销活动;淘宝回应用户账号被禁用980年;Julia 1.5.0 beta1 发布 | 极客头条...
  9. 两分钟实现安全完备的登录模块
  10. ESP32(NodeMCU-32S)简单实现路由中继/wifi中继
  11. k8s搭建v1.18.3高可用集群时添加master节点报错:failure loading certificate for CA: couldn‘t load the certificate fil
  12. 医学影像设备学_【技士/师证考试宝典】第四篇 医学影像设备学CR 11
  13. iOS清除WKWebView缓存
  14. 路由器接交换机再接无线路由器,应该怎么设置
  15. 【搜索】单词方阵 luogu-1101
  16. 多可文档管理的数据备份
  17. TCP/IP协议数据链路层
  18. 在机器人面前,人类怎样做才能不悲观
  19. Fragment Transactions Activity State Loss
  20. 校园二手物品交易平台

热门文章

  1. c语言的翻译叫什么_C语言如何把它翻译成中文
  2. OpenGL特点 翻译自openGL.org 的文档
  3. GitLab CI脚本编写
  4. 全球与中国塑料面罩市场深度研究分析报告
  5. 主流分布式文件系统对比
  6. matlab histequ,matlab histeq函数引见
  7. ROS-gazebo 简介
  8. 图片点击放大 松开缩小
  9. IT项目管理-项目组合、项目群、项目
  10. 茧数SCRM产品介绍系列:营销自动化