RGW S3 Multipart的示例分析
这篇文章主要介绍了RGW S3 Multipart的示例分析，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
S3分段上传技术主要应用在大文件的数据上传上，通常在S3客户端会对上传的大文件做一次分片操作。在RGW内部还会对S3客户端发送过来的数据再进行一次分片处理，RGW默认分片大小是4MB。
1、初始化Multipart。
初始化Multipart使用的是HTTP POST操作，在RGW中使用RGWInitMultipart_ObjStore_S3类处理。由于RGWInitMultipart_ObjStore_S3类继承自RGWInitMultipart_ObjStore，而RGWInitMultipart_ObjStore类继承自RGWInitMultipart，而RGWInitMultipart类继承自RGWOp类。因此处理Mulipart初始化的操作主要集中在RGWInitMultipart::execute()函数中。下面对该函数的处理流程进行详细解析。
RGWInitMultipart::execute()
|__RGWInitMultipart_ObjStore_S3::get_params() 从HTTP请求中得到RGWAccessControlPolicy_S3类实例
|__将RGWAccessControlPolicy_S3放入到属性列表中且属性key＝RGW_ATTR_ACL
|__rgw_get_request_metadata() 从HTTP请求中得到属性信息且这些属性信息的prefix key ＝user.rgw.
|__生成upload_id。upload_id = "2~" + 32个随机字母数字
|__以对象名称和upload_id为参数，初始化RGWMPObj对象
|__以bucket、RGWMPObj.meta以及RGWMPObj.ns为参数，初始化rgw_obj对象
|__创建RGWRados::Object对象
|__创建RGWRados::Object::Write对象
|__RGWRados::Object::Write::write_meta()
|__创建ObjectWriteOperation对象
|__将属性attrs的key/value写入到ObjectWriteOperation对象
|__创建RGWRados::Bucket对象
|__创建RGWRados::Bucket::UpdateIndex对象
|__RGWRados::Bucket::UpdateIndex::prepare(CLS_RGW_OP_ADD) 准备执行更新object所在bucket的header信息以及dir_entry信息
|__RGWRados::cls_obj_prepare_op()
|__cls_rgw_bucket_prepare_op()
|__rgw_bucket_prepare_op()
|__read_key_entry())，对于不存在的entry则创建rgw_bucket_dir_entry类实例
|__read_bucket_header() 读取rgw_bucket_dir_header
|__cls_cxx_map_set_val() 将rgw_bucket_dir_entry写入ceph集群
|__write_bucket_header() 将更新的rgw_bucket_dir_header信息写入ceph集群
|__RGWRados::IoCtx::operate() 执行object的attrs写入ceph集群的操作
|__RGWRados::Bucket::UpdateIndex::complete()
|__RGWRados::cls_obj_complete_add()
|__RGWRados::cls_obj_complete_op()
|__cls_rgw_bucket_complete_op()
|__rgw_bucket_complete_op()
|__read_bucket_header() 读取rgw_bucket_dir_header
|__read_key_entry()，对于不存在的entry则创建rgw_bucket_dir_entry类实例
|__cls_cxx_map_set_val() 将rgw_bucket_dir_entry写入ceph集群
|__write_bucket_header() 将更新的rgw_bucket_dir_header信息写入ceph集群
2、上传Multipart数据。
上传Multipart数据使用的是HTTP PUT操作，在RGW中使用RGWPutObj_ObjStore_S3类处理。由于RGWPutObj_ObjStore_S3类继承自RGWPutObj_ObjStore，而RGWPutObj_ObjStore类继承自RGWPutObj，而RGWPutObj类继承自RGWOp类。因此处理Mulipart初始化的操作主要集中在RGWPutObj::execute()函数中。在该函数中处理Multipart部分的操作主要由RGWPutObjProcessor_Multipart类负责处理。在该类中有两个主要的处理函数prepare()和do_complete()。下面分别解析这两个函数的处理流程。
RGWPutObjProcessor_Multipart::prepare()
|__从HTTP请求流中得到uploadId和partNumber信息
|__设置manifest.prefix为oid+"."+uploadId
|__RGWObjManifest::set_multipart_part_rule()
|__RGWObjManifest::generator::create_begin()
|__RGWObjManifest::get_implicit_location() 得到Multipart数据的命名及其位置
|__RGWObjManifest::update_iterators()
RGWPutObjProcessor_Multipart::do_complete()
|__创建RGWRados::Object对象
|__创建RGWRados::Object::Write对象
|__RGWRados::Object::Write::write_meta()
|__RGWRados::omap_set() 更新multipart_meta_obj对象的omap信息
3、完成Multipart数据上传。
完成Multipart使用的是HTTP POST操作，在RGW中使用RGWCompleteMultipart_ObjStore_S3类处理。由于RGWCompleteMultipart_ObjStore_S3类继承自RGWCompleteMultipart_ObjStore，而RGWCompleteMultipart_ObjStore类继承自RGWCompleteMultipart，而RGWCompleteMultipart类继承自RGWOp类。因此处理Mulipart完成的操作主要集中在RGWCompleteMultipart::execute()函数中。下面对该函数的处理流程进行详细解析。
RGWCompleteMultipart::execute()
|__get_obj_attrs() 得到Multipart对象的属性值
|__list_multipart_parts() 遍历Multipart对象所有分片
|__解析所有分片且将分片的manifest信息写入到Multipart对象的manifest列表中
|__创建RGWRados::Object对象
|__创建RGWRados::Object::Write对象
|__RGWRados::Object::Write::write_meta() 将属性值写入到Ceph集群
|__RGWRados::delete_obj() 删除meta_obj对象（该对象负责保存分片上传过程中的对象信息）
4、终止Multipart数据上传。
终止Multipart使用的是HTTP DELETE操作，在RGW中使用RGWAbortMultipart_ObjStore_S3类处理。由于RGWAbortMultipart_ObjStore_S3类继承自RGWAbortMultipart_ObjStore，而RGWAbortMultipart_ObjStore类继承自RGWAbortMultipart，而RGWAbortMultipart类继承自RGWOp类。因此处理Mulipart终止操作主要集中在RGWAbortMultipart::execute()函数中。下面对该函数的处理流程进行详细解析。
RGWAbortMultipart::execute()
|__get_multipart_info() 得到meta_oid对象的属性值
|__list_multipart_parts() 遍历Multipart对象所有分片
|__RGWRados::update_gc_chain() 将已经完成的Multipart分片放入到GC队列中等待GC线程做回收操作
|__RGWRados::send_chain_to_gc() 启动GC线程
|__创建RGWRados::Object对象
|__创建RGWRados::Object::Delete对象
|__RGWRados::Object::Delete::delete_obj() 删除meta_oid对象
5、查看Multipart数据。
查看Multipart使用的是HTTP GET操作，在RGW中使用RGWListMultipart_ObjStore_S3类处理。由于RGWListMultipart_ObjStore_S3类继承自RGWListMultipart_ObjStore，而RGWListMultipart_ObjStore类继承自RGWListMultipart，而RGWListMultipart类继承自RGWOp类。因此处理Mulipart终止操作主要集中在RGWListMultipart::execute()函数中。下面对该函数的处理流程进行详细解析。
RGWListMultipart::execute()
|__get_multipart_info() 得到meta_oid对象的属性值
|__list_multipart_parts() 遍历Multipart对象所有分片
下面是RGW S3 Multipart的类关系图
感谢你能够认真阅读完这篇文章，希望小编分享的"RGW S3 Multipart的示例分析"这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!
