OSS在线迁移服务剖析

  • 日期:08-11
  • 点击:(1468)

亚洲通官网登录
?

目前,由于OSS数据迁移服务涉及目标OSS的许多API授权,为了避免用户过多的学习成本,我们直接强制使用主帐户进行迁移;

该服务处于公开测试阶段,仍处于免费使用阶段;服务使用需要提前工作单来申请加入白名单的帐户UID;

脱机迁移:这是指Lightning Cube硬盘数据副本迁移到OSS的方式;适用于专有云,并且需要快速迁移大量PB级数据;

在线迁移:包括第三方存储迁移到OSS和ECS数据迁移到OSS

1.创建一个数据地址,类似于ossimport job.cfg的操作,配置迁移的数据源,以及与目标OSS桶相关的配置;

用于迁移数据的accesskeyID应具有相应的权限,授予子帐户存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)

数据地址将创建两个,一个源数据地址,一个目标数据地址;

2,创建迁移任务

3.任务类型描述

完全迁移:将所有源文件上传到OSS;

增量迁移:在上传之前列出所有源文件,比较哪些已上传,不会重复上传;

数据同步:请注意,在部署在OSS之间迁移的任务时,可以在同一区域中执行数据同步,并且源桶数据会定期同步到目标存储桶;

也可以在指定文件的时间执行数据迁移;

4,调整设置

用户配置迁移量和大致文件数后,可以根据设置自动计算分配的工作线程数,用户也可以根据时间段或无限流量灵活限制流量;

5,注意

创建迁移任务后,OSS将转到源以提取单个文件进行测试。如果源文件包含非法命名的对象,则整个任务将失败,

非法字符包含'/.',长度不能超过1024个字节;

已创建用户可以管理和监控的迁移任务;

进入管理界面后,我们可以看到迁移任务的整体监控(流量,任务状态,迁移进度)

如果在任务迁移期间出现故障,则用户可以重试;

完成任务迁移后,用户将生成迁移报告,包括实际迁移次数,是否存在错误以及错误原因;报告保存在OSS上;

作者:张博医疗

阅读原文

本文是云栖社区的原创内容,未经许可,不得转载。

96

阿里云云栖社区

96daa9ff-5e2d-4ab8-9769-04a0eb468046

0.6

2019.07.29 12: 10

字数750

目前,由于OSS数据迁移服务涉及目标OSS的许多API授权,为了避免用户过多的学习成本,我们直接强制使用主帐户进行迁移;

该服务处于公开测试阶段,仍处于免费使用阶段;服务使用需要提前工作单来申请加入白名单的帐户UID;

离线迁移:这是指Lightning Cube硬盘数据副本迁移到OSS的方式;适用于专有云,并且需要快速迁移大量PB级数据;

在线迁移:包括第三方存储迁移到OSS和ECS数据迁移到OSS

1.创建一个数据地址,类似于ossimport job.cfg的操作,配置迁移的数据源,以及与目标OSS桶相关的配置;

用于迁移数据的accesskeyID应具有相应的权限,授予子帐户存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)

数据地址将创建两个,一个源数据地址,一个目标数据地址;

2,创建迁移任务

3.任务类型描述

完全迁移:将所有源文件上传到OSS;

增量迁移:在上传之前列出所有源文件,比较哪些已上传,不会重复上传;

数据同步:请注意,在部署在OSS之间迁移的任务时,可以在同一区域中执行数据同步,并且源桶数据会定期与目标存储桶同步;

也可以在指定文件的时间执行数据迁移;

4,调整设置

用户配置迁移量和大致文件数后,可以根据设置自动计算分配的工作线程数,用户也可以根据时间段或无限流量灵活限制流量;

5,注意

创建迁移任务后,OSS将转到源以提取单个文件进行测试。如果源文件包含非法命名的对象,则整个任务将失败,

非法字符包含'/.',长度不能超过1024个字节;

已创建用户可以管理和监控的迁移任务;

进入管理界面后,我们可以看到迁移任务的整体监控(流量,任务状态,迁移进度)

如果在任务迁移期间出现故障,则用户可以重试;

完成任务迁移后,用户将生成迁移报告,包括实际迁移次数,是否存在错误以及错误原因;报告保存在OSS上;

作者:张博医疗

阅读原文

本文是云栖社区的原创内容,未经许可,不得转载。

目前,由于OSS数据迁移服务涉及目标OSS的许多API授权,为了避免用户过多的学习成本,我们直接强制使用主帐户进行迁移;

该服务处于公开测试阶段,仍处于免费使用阶段;服务使用需要提前工作单来申请加入白名单的帐户UID;

离线迁移:这是指Lightning Cube硬盘数据副本迁移到OSS的方式;适用于专有云,并且需要快速迁移大量PB级数据;

在线迁移:包括第三方存储迁移到OSS和ECS数据迁移到OSS

1.创建一个数据地址,类似于ossimport job.cfg的操作,配置迁移的数据源,以及与目标OSS桶相关的配置;

用于迁移数据的accesskeyID应具有相应的权限,授予子帐户存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)

数据地址将创建两个,一个源数据地址,一个目标数据地址;

2,创建迁移任务

3.任务类型描述

完全迁移:将所有源文件上传到OSS;

增量迁移:在上传之前列出所有源文件,比较哪些已上传,不会重复上传;

数据同步:请注意,在部署在OSS之间迁移的任务时,可以在同一区域中执行数据同步,并且源桶数据会定期同步到目标存储桶;

也可以在指定文件的时间执行数据迁移;

4,调整设置

用户配置迁移量和大致文件数后,可以根据设置自动计算分配的工作线程数,用户也可以根据时间段或无限流量灵活限制流量;

5,注意

创建迁移任务后,OSS将转到源以提取单个文件进行测试。如果源文件包含非法命名的对象,则整个任务将失败,

非法字符包含'/.',长度不能超过1024个字节;

已创建用户可以管理和监控的迁移任务;

进入管理界面后,我们可以看到迁移任务的整体监控(流量,任务状态,迁移进度)

如果在任务迁移期间出现故障,则用户可以重试;

完成任务迁移后,用户将生成迁移报告,包括实际迁移次数,是否存在错误以及错误原因;报告保存在OSS上;

作者:张博医疗

阅读原文

本文是云栖社区的原创内容,未经许可,不得转载。