基于FME Desktop和FME Server的数据增量自动更新

news2025/8/7 23:11:24

一、自动更新的意义

自动更新使数据保持良好的现势性,具有良好现势性的数据可以准确反映最新情况,为领导者决策分析判断提供有力保障。

一年一度的国土变更调查就是国家为了及时全面查清我国土地利用状况,掌握详实准确的土地基础数据现势情况,为提高土地资源的信息化管理和社会化运用,国民经济平稳健康发展以及国土资源的合理开发和可持续利用提供保障。

同样,在环境监测、大气污染、天气预报、交通导航和疫情防控等方方面面,具有良好现势性的数据都很重要。

二、更新控制因子

1、什么是更新控制因子

更新控制因子是数据现势性的判断者,是为了区分数据的现势性情况,避免数据出现重复或者遗漏而确定的一个临界值,是随着更新变化的一个值。我们把控制因子分为“时间控制因子”和“主键控制因子”两种。

“时间控制因子”就是通过数据记录的时间来判断数据的现势性。很简单,在“时间控制因子”之前时间的数据为旧数据,不需要更新;在“时间控制因子”之后时间的数据为新数据,是需要更新的数据。

“主键控制因子”是通过自增的主键来判断数据的现势性。主键的值大于“主键控制因子”即为新数据;自然,主键的值小于“主键控制因子”为旧数据。

2、“时间控制因子”与“主键控制因子”的区别

“时间控制因子”可以清楚判断数据的时效,但记录时间的精度有限,一般记录的时间精确到“秒”,有时甚至是“小时”或者“天”,这样数据记录的时间必然会有重复情况。倘若某一次更新在重复时间处中断,那么数据会出现更新遗漏。

“主键控制因子”因为是自增主键的缘故,很好的避免了“时间控制因子”更新遗漏情况,但是它不能反映数据的时效。

三、控制因子索引建立

1、为什么建立索引

建立索引可以大大加快数据的检索速度,显著减少查询时间,提高系统性能,方便快速查询到新的数据。

2、如何建立索引

在已有数据的情况下,通过添加的方式建立索引。不同数据库索引建立方式不尽相同,以MySQL数据库为例。

使用如下代码添加索引:

ALTER TABLE `cdmz`.`表名` ADD INDEX `主键字段`(`主键名`) USING BTREE;

当然索引比较少时,可以手动添加;但如果要添加的索引比较多时FME就登场了,利用“AttributeCreator”、“SQLExecutor”等转换器可以实现自动化建立索引。

表 1索引字段表

 

FME搭建的模板会根据“索引字段表”自动生成代码并运行添加索引。

 图 1添加索引模板

图 2模板自动生成的代码

四、FME Desktop更新模板搭建

1、控制因子记录表建立

建立控制因子记录是为了方便获取增量数据时进行调用,虽然我们已经建立了索引,但每次获取增量数据时同时可以获得控制因子,记录下控制因子可以节省查询时间,何乐而不为呢。

表 2控制因子记录表

 

2、数据标准建立

同类数据来源不同,数据标准往往也不尽相同,为方便统一使用各方数据,需要结合各方数据情况融合整理一套统一的数据标准。

例如根据某省各市大气监测小时数据,整理如下数据标准。

表 3数据标准

 

3、确定多源数据映射关系

建立数据标准后,需要根据各市源数据标准确定源数据与标准数据映射关系。

整理如下映射关系:

表 4字段映射关系表

 

4、搭建更新模板

做好准备工作我们按如下思路搭建更新模板:

  1. 获取增量数据——根据更新控制因子查询出各市增量数据;
  2. 字段映射修改——根据字段映射关系表修改各市源字段到标准字段;
  3. 标准结构写入——根据数据标准给数据写入标准结构;
  4. 属性清洗改造——根据确定的属性填写规范清洗改造数据;
  5. 目标数据输出——将数据写入目标数据库;
  6. 控制因子更新——从改造后的增量数据获取新的控制因子并更新到控制因子记录表。

最终搭建更新模板如下图:

 图 3更新模板

五、FME Server自动更新

1、确定更新开始时间及频率

完成更新模板的搭建后,利用FME Server可以实现模板的自动运行,在此之前应先确定各数据源的更新频率及模板第一次运行的开始时间,以便在源数据更新后及时准确的更新增量数据。

2、配置自动更新任务

确定更新开始时间及频率后即可在FME Server配置自动更新任务。任务配置分为计划任务配置和任务模板配置。

计划任务配置:主要配置任务的名称、分类、描述、计划类型、计划的频率、起止时间等参数。

 图 4FME Server计划任务配置

任务模板配置:主要配置计划任务的模板以及模板运行所需要的参数。

 图 5FME Server任务模板配置

3、自动更新任务成果

计划任务配置完成后,FME Server就会按照既定配置自动更新数据。

 图 6大气监测小时数据更新成果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/34519.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

项目分享:新年可以做的副业项目,红包封面制作

新的一年即将到来。今天想推荐一个非常暴力和稳定的项目,红包封面。这个项目在春节期间特别强大,因为新年包已经成为中国人的传统,从原来的纸包到现在的VX包已经成为一项必不可少的活动。因此,从需求的角度来看,这个项…

Linux 搭建本地镜像源(CentOS 离线 yum)

使用 RPM 包搭建本地镜像源 1. 下载所有源中的 RPM 包 yum -y install httpd yum-utils createrepo 创建 RPM 包的下载目录 mkdir /var/www/html/centos启动 httpd 服务 [rootlocalhost ~]# systemctl start httpd [rootlocalhost ~]# ss -antulp | grep :80 tcp LISTEN …

nerdctl 工具(用于 containerd 但兼容 docker CLI 习惯)

简介 nerdctl 是用于 containerd 并且 兼容 docker cli 习惯的管理工具,主要适用于刚从 docker 转到 containerd 的用户,操作 containerd 的命令行工具 ctr 和 crictl 不怎么好用,所以就有了 nerdctl。 要特别说明的是:nerdctl …

还在每天玩单调的控制台窗口?赶紧进来!!!用EasyX画出自己的优美窗口(万字教程,一文入门)

EasyX图形库教程 本文的封面第三章照片来自博客:爱心气球 文章目录EasyX图形库教程前言1.EasyX是什么?2.EasyX的安装开始教程1.基本概念1.1颜色1.2坐标2.创建窗口 -- 基本框架3.颜色设置3.1背景颜色3.2设置线条颜色3.3设置文本颜色3.4设置填充颜色4样式…

计算机毕业设计之java+ssm家校通网站

项目介绍 随着网络技术的飞速发展,网络已渗透到全人类的各个方面,深刻影响着我们的生活和工作方式。家校通网站给教育带来了更广阔的发展空间。家校通网站有对部分类似网站进行分析,找到规律和方法,吸取其特点,构思自…

Win11关闭Superfetch服务的操作方法分享

Win11关闭Superfetch服务的操作方法分享。有用户发现自己电脑在开机的时候,都会出现Superfetch服务的相关程序进程。为了优化自己的运行内存,想要将这个功能给进行关闭。那么电脑的Superfetch服务怎么去关闭,一起来看看关闭的方法吧。 操作方…

天宇优配|北上广深角逐“国字号”数据交易所 行业爆点

今日,上海数据生意地点揭牌一周年之际,将发动数据生意节,并将探究树立数交所国际板。10天前,深圳数据生意所正式揭牌。至此,北上广深四个一线城市均已树立数据生意所。 数据作为新型生产要素,正成为各地争相…

想过为什么家里的IP是192.168开头的吗?

为什么我们家里的IP都是192.168开头的? 是的,就是我,先不做什么技术博主了,做个老情感博主(手动狗头)。 来讲个故事。 资深老舔狗小王今天很兴奋,说什么也要请大家喝奶茶。 因为他说他感觉要跟…

基于ModelCoder的汽车悬挂系统建模

悬挂系统是汽车的车架与车桥或车轮之间的一切传力连接装置的总称,其功能是传递作用在车轮和车架之间的力和力矩,并且缓冲由不平路面传给车架或车身的冲击力,衰减由此引起的振动,以保证汽车平顺行驶。 悬挂系统主要功能为支持车身…

事业编招聘:国家无线电监测中心2022年公开招聘

一、单位简介 国家无线电监测中心检测中心是国家无线电监测中心/国家无线电频谱管理中心下属的独立事业法人机构,主要从事无线电技术领域的检测认证、产品研发、科研标准、行业咨询和政府支撑等工作,在北京、河北永清、广东深圳、上海、湖南长沙、四川成…

如何在你的 wordpress 网站中添加搜索框

💂 个人网站:【海拥】【摸鱼游戏】【神级源码资源网站】🤟 前端学习课程:👉【28个案例趣学前端】【400个JS面试题】💅 想寻找共同学习交流、摸鱼划水的小伙伴,请点击【摸鱼学习交流群】💬 免费且…

计算机毕业设计之java+ssm理发店会员管理系统

项目介绍 本理发店会员管理系统主要包括系统用户管理模块、商品项目模块、会员消费管理、会员信息管理、会员充值管理、登录模块、和退出模块等多个模块。本系统基于SSM(SpringSpringMVCMyBatis)框架,适用于毕业设计,采用javaweb,基于B/S模式,Myeclipse或者eclipse…

HDI激光钻孔和常见问题

随着电子产品不断升级,对pcb工艺也会越来越高。且由于结构空间原因,对pcb的体积也会越来越小。因此pcb的工艺会越来越复杂。 一,什么样的孔才会用激光设备? 很多工程师看到工艺能力的时候,上面写的最小孔0.1mm&#x…

【计算机毕业设计】35.流浪动物救助及领养管理系统源码

一、系统截图(需要演示视频可以私聊) 摘 要 随着信息化时代的到来,管理系统都趋向于智能化、系统化,流浪动物救助及领养管理也不例外,但目前国内的有些宠物店仍然都使用人工管理,宠物店的规模越来越大&…

数据结构-期末复习重要知识点总结

目录 第一章-绪论 第二章-线性表 3.顺序表表示 4.顺序表基本运算 5.链表 6.链表的基本运算 7.循环链表 8.双链表 9.静态链表 10.一元多项式表示及相加 第三章-限定性线性表(栈与队列) 1.顺序栈 2.链栈 3.链队列 4.循环队列 5.习题 第四章…

JavaScript中常用对象方法总结

Object.create()创建对象 该方法用于创建一个新对象,新建对象具有指定原型和若干个指定属性; Object.create(proto) Object.create(proto, propertiesObject) 该方法接收两个参数,第一个参数是新建对象的指定原型对象,第二个参数…

校企合作共建体系:亚马逊云科技的云计算人才培养之道

1984年的一天,有一位老人在参观两名青少年展示计算机操作时,说出了一句被人们传颂至今的名言:“计算机的普及要从娃娃抓起。”数十年后的今天,伴随着云计算在全球的风起云涌,中国对云计算人才的需求也在与日俱增。面对…

RabbitMQ系列【15】AmqpAdmin使用详解

有道无术,术尚可求,有术无道,止于术。 文章目录前言1、查询队列信息2、声明、删除交换机3、声明、删除队列4、声明、删除交换机/队列绑定关系5、初始化前言 在之前,我们都是通过注入Bean的方式去声明交换机、队列,应用…

前后端分离架构好用吗?

在数据化发展趋势越来越分明的当下,前后端分离架构可以让前、后端的工程师们做好各自分内的事,专注于各自领域,从而提升整体办公效率和推进数字化进程。说到这,有不少朋友会问我们,前后端分离架构好用吗?要…

WPF的数据绑定

文章目录前言一、WPF数据绑定的概要1. 数据绑定涉及到两个方面:2.对于绑定源,在WPF可以是以下四种:二、 绑定的模式1.根据数据流的方向,WPF中的数据绑定分为以下四种:三.绑定目标值影响绑定源值条件1. UpdateSourceTri…