千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航： 首页 > 互联网科技 >

什么是Parquet列存储模式

发表于：2026-11-02 作者：千家信息网编辑
千家信息网最后更新 2026年11月02日，本篇内容主要讲解"什么是Parquet列存储模式"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"什么是Parquet列存储模式"吧!简介Apache Par
千家信息网最后更新 2026年11月02日什么是Parquet列存储模式

本篇内容主要讲解"什么是Parquet列存储模式"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"什么是Parquet列存储模式"吧!

简介

Apache Parquet 是一种能够有效存储嵌套数据的列存储格式。（列式存储格式在文件大小和查询性能上表现优秀） Parquet 的突出贡献在于能够以真正的列式存储格式来保存具有深度嵌套结构的数据。 参考博客-简书

数据模型

  • 原子类型

类型描述
boolean二进制值
int3232位有符号整数
int6464位有符号整数
int9696位有符号整数
float(32位)IEEE754单精度浮点数
double(64位)IEEE754单精度浮点数
binary8位无符号字节序列
fixed_len_byte_array固定数量的8位无符号字节

一个简单的Parquet模式：

message WeatherRecord{    required int32 year;    required int32 temperature;    required binary stationId (UTF-8);}

parquet 的原子类型不包括字符串类型。required binary stationId (UTF-8); 表示字符串

  • 逻辑类型

逻辑类型注解 描述 模式示例
UTF-8 由UTF-8字符组成的字符串,可用于
注解binary 		message m {
   required binary a (UTF-8);
}
ENUM 命名值的集合,可用于binary message m {
   required binary a (ENUM);
}
DECIMAL
(precision,scale)		 任意精度的有符号小数，可用于注解
int32、int64、binary或fixed_len_byte_array 		message m {
   required int32 a (DECIMAL(5,2));
}
DATE 不带时间的日期值,可用于注解int32.
用Unix元年（1970年1月1日）以来的天
数表示 		message m {
   required int32 a (DATE);
}
LIST 一组有序的值，可用于注解group message m {
   required group a (LIST){
   required group list{
   required int32 element;
} } }
MAP 一组无序的键-值对，可用于注解group message m {
   required group a (MAP){
   required group key_value{
   required binary key (UTF-8);
   optional int32 value;
} } }

Parquet文件格式

Paruet文件由一个文件头，一个或多个紧随其后的文件块，以及一个用于结尾的文件尾构成。文件头中仅包含一个称为PAR1的4个字节数字，它用来识别整个Parquet文件格式。文件的所有元数据都被保存在文件尾中。

Parquet的配置

在设置文件块的大小时需要折中考虑扫描率与内存的使用。较大的文件块包含较多的行，因此扫描效率更高。同时也可以提高顺序I/O操作的效率（因为在设置列块时的额外开销比较少）。但是，每个文件块在读/写操作时都需要缓存在内存中，这个限制使得文件块不能太大。默认的文件块为128MB.

到此，相信大家对"什么是Parquet列存储模式"有了更深的了解，不妨来实际操作一番吧！这里是网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

很赞哦！
文件 存储 注解 符号 类型 UTF-8 模式 格式 字符 数据 字符串 字节 整数 内存 内容 单精度 原子 大小 效率 点数 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 互联网科技股 有格互联网科技 南京欣网互联网络科技有限公司 互联网科技网 科技创新与互联网经济 互联网科技财经 重庆互联网络科技 金融科技 互联网金融 紫鲸互联网科技 上游互联网科技 互联网科技汛 华脉科技工业互联网产品 互联网科技公司的市场部门 中国的互联网科技企业的崛起 成都铂石互联网科技做什么的 宜昌元轩互联网科技有限公司 互联网科技人工智能实验室 互联网科技和法律行业 互联网领先科技宣传片 富国互联网金融科技混合基金 卓越科技(互联网 ) 上海卓越科技 互联网 互联网科技公司做什么 想开互联网科技公司怎么样 每天都有哪些好的互联网科技 宇信科技在杭州互联网排第几 银川新华互联网科技学校原画 青岛易易互联网科技 中国主要互联网科技公司 前海云享互联网科技

相关文章

0