数据迁移是什么意思

2021-03-05 11:18:24 字数 2411 阅读 6987

1楼:匿名用户

数据迁移是数据系统整合中保证系统平滑升级和更新的关键部分。在信息化建设过程中,随着技术的发展,原有的信息系统不断被功能更强大的新系统所取代。从两层结构到三层结构,从client/server到browser/server。

在新旧系统的切换过程中,必然要面临一个数据迁移的问题。

数据迁移的特点

系统切换时的数据迁移不同于从生产系统oltp(on-line transaction processing)到数据仓库(data warehouse,dw)的数据抽取。后者主要将生产系统在上次抽取后所发生的数据变化同步到数据仓库,这种同步在每个抽取周期都进行,一般以天为单位。而数据迁移是将需要的历史数据一次或几次转换到新的生产系统,其最主要的特点是需要在短时间内完成大批量数据的抽取、清洗和装载。

数据迁移的内容是整个数据迁移的基础,需要从信息系统规划的角度统一考虑。划分内容时,可以从横向的时间和纵向的模块2个角度去考虑。

1.横向划分

以产生数据的时间为划分依据,需要考虑比较久远的历史数据如何迁移的问题。由于信息技术的发展,以及存储工程师对计算机依赖性的增强,每天新系统往往需要比旧系统存储更多的信息,同时为了解决高增长的数据量带来的性能瓶颈,新系统一般只保留一定时期的数据(如1年),而把超过保存周期的数据,即1年以前的数据转移到数据仓库中,以便用于决策分析。对于这种新系统的数据迁移,主要迁移1年以内的数据,1年以前的历史数据需要另外考虑。

2.纵向划分

以处理数据的功能模块为划分依据,需要考虑在新系统中没有被包含的功能模块,其所涉及数据的处理问题。这类数据由于无法建立映射关系,一般不需要迁移到新系统中。但对于模块间耦合度比较紧密的旧系统,在纵向划分时需要注意数据的完整性。

2楼:匿名用户

有些简单的数据迁移的需求,比如将数据从a软件拿出来,迁移到b软件。一些自动化的小工具也可以实现了。

至少可以替代一部分人工重复复制啊 或者粘贴这类的重复工作。目前用的比较流畅的是 博 为 小 帮,兼容性强操作也蛮简单。

3楼:杉岩数据

信科技发展到

今天,当数据量达到tb级,网络传输的效率其实还不如快递。百兆光纤宽带看似很快,但在遇到真正的“大数据”时,高速公路也会秒变停车场。

我们来算一笔账:

从时间成本来看,离线数据的物理迁移看似原始实则非常高效。

就像钞票比钱包值钱,数据比存储设备更值钱,设备坏了可以再买,数据丢了那就是天要塌了。企业初期基本采用单数据中心运营,但业务规模上来以后,数据中心里的服务器和存储设备越来越多,数据量也大了,这时候就要考虑建设灾备中心,构建主备协同的双中心架构。在不影响业务的前提下,如何将生产数据中心的pb级规模数据备份到灾备数据中心呢?

按照上面的计算,完成1 pb数据的全部备份耗时近3年,这个方案没法接受。

图1.常规数据同步方案

杉岩的数据离线迁移服务,就是用来解决这个问题的。

普通的离线迁移一般是用中转磁盘的方式实现,如果是将对象数据拷贝到磁盘的文件系统,会造成标签等元数据的信息丢失,虽然数据主体是备份了,但实际上降低了数据质量。杉岩中转集群的方案不存在这个缺点,利用服务器搭建高密度中转集群,同步主数据和元数据,整个方案实施过程只有3步,7天即可完成。

1、部署中转集群

根据数据量配置服务器,搭载杉岩mos海量对象存储软件以构建中转集群。服务器的网络接口规格根据数据量以及客户对迁移时间的要求,灵活选择千兆或万兆网卡。若迁移1 pb数据,客户仅需配置1台中转服务器,选配万兆网卡,带宽可达4 gb/s。

2、数据从生产数据中心同步到中转集群

在可视化管理界面上配置同步策略,将数据从生产数据中心同步到中转集群,这一步只要3天就可以完成。

数据同步完成之后,将中转服务器打包快递至灾备数据中心。视路程远近,这一步可以在1到3天内完成。

3、数据从中转集群同步到灾备数据中心

中转服务器送达后,按同样方式反向操作即可将数据同步到灾备中心,这一步也只要3天就可以完成。至此,数据迁移全部完成,耗时最短只要7天。

图2.数据离线迁移方案

采用杉岩离线迁移服务充分发挥分布式集群的带宽优势,迁移效率可提升100倍以上。数据迁移前后,完整保留文件的标签、多版本等数据属性,不存在信息丢失问题,数据质量***;而且中转服务器运送过程全程监控,保障设备和数据安全,总体成本可节约50%以上,这套方案已经在保险公司等金融行业客户应用过,效果十分显著。

计算机领域老前辈、minix的作者andrew s. tanenbaum的这句话仍然没有过时:“永远不要低估一辆满载着磁带在高速公路上飞驰的旅行车的带宽。”

4楼:小靓帮

数据迁移说人话就是:把数据从a数据库,转移到b数据库。

如果需要做数据迁移的话,一般用接口方式实现数据对接。

也可以用自动化工具来实现,比如小帮软件机器人,

可以采集从软件界面上或者网页页面上采集到数据,然后批量写入到其他的软件或者网页中,实现数据迁移的效果。

大数据是什么,大数据是什么意思

1楼 热词替换 大数据指无法在一定时间范围内用常规软件工具进行捕捉 管理和处理的数据集合。通过大量的统计了解大家的喜好,想要的东西,从而得到他们想要的,比如精准营销,征信分析,消费分析等等 2楼 高顿财经教育 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取 管理和处理的数据集合。大数据技术...

c从元数据是什么意思,C#中的[从元数据]是什么意思?

1楼 可乐零七 就是 里描述数据的数据,比如最常见的就是把鼠标放到系统定义的类型里然后按f12就会打开它的原型,但是不能去修改这些数据。那么这些数据就称为元数据。 c 中的 从元数据 是什么意思 2楼 匿名用户 楼上说的不正确 所谓元数据 其实是指由微软所封装的类 这些类你可以查看 但是无法修改 例...

性乃迁的迁是什么意思,性乃迁的迁什么意思

1楼 老虎 苟不教,性乃迁。 迁 改变的意思。 如果不对他进行教育的话,他 美好的 本性就会改变。 性乃迁的迁什么意思 2楼 匿名用户 如果 对幼儿 不 严加 教育, 幼儿善良的 禀性就 将随环境 改变 坏 。迁在这里是改变,变坏的意思, 性乃迁是什么意思? 3楼 匿名用户 随着时间的推移和环境的影...