当前位置: gth163->培训 > PostgreSQL技术大讲堂 - 第24讲:TOAST技术

PostgreSQL技术大讲堂 - 第24讲:TOAST技术

2023-08-02作者:gth163来源:www.gth163.com

PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。

第24讲:TOAST技术

内容1 : Toast简介

内容2 : Toast的存储方式

内容3 : Toast4种压缩策略

内容4 : Toast表的计算方式

内容5 : Toast表的优点与缺点

内容6 : 与Oracle大对象存储方式对比


Toast简介

· Toast技术产生背景

元组不允许跨页面存储

· TOST技术特点

Toast是超长字段在PG的一个存储方式

全称The OverSized Attribute Storage Technique(超尺寸字段存储技术)

它会将大字段值压缩或者分散为多个物理行来存储

对于用户来说不用关注这一技术实现,完全是透明的


Toast的存储方式

· PG的部分类型数据支持toast,因为有些字段类型是不会产生大字段数据(比如date,time,boolean等)

· 支持Toast的数据类型应当是可变长度的(variable-length)

· 表中任何一个字段有Toast,这个表都会有这一个相关联的Toast表,OID被存储在pg_class.reltoastrelid里

· 超出的的数值将会被分割成chunks,并且最多toast_max_chunk_size 个byte(缺省是2KB)

· 当存储的列长度超过toast_tuple_threshold值(通常是2KB),就会触发toast存储

· toast将会压缩或者移动字段值直到超出部分比toast_tuple_targer值小(这个值通常也是2KB)。


建表时自动创建Toast表

--创建表

create table toast_t(id int,vname varchar(48),remark text);

--其中remak数据类型是text,列值长度超过2KB则就会自动产生toast表来存储。


更改表的存储方式为Toast

语法:

ALTER TABLE toast_t ALTER COLUMN vname

SET STORAGE {PLAIN | EXTENDED | MAIN | EXTERNAL};

示例:

create table toast_t1(dd character varying);

alter table toast_t1 alter column dd set storage main;


/d+ toast_1

Column | Type | Storage |

--------+-----+---------+-

dd | character varying | main |

Access method: heap


查看Toast表的名字

--查看tost表的oid

testdb=# select relname,relfilenode,reltoastrelid from pg_class where relname='toast_t1';

relname | relfilenode | reltoastrelid

----------+-------------+---------------

toast_t1 | 16385 | 16389

--根据tost表oid查看其名字

testdb=# select relname from pg_class where oid = '16389';

relname

----------------

pg_toast_16385


Toast4种策略

策略:PLAIN

说明:避免压缩和行外存储。

只有那些不需要 TOAST 策略就能存放的数据类型允许选择(例如 int 类型),而对于 text 这类要求存储长度超过页大小的类型,是不允许采用此策略的。

策略:MAIN

说明:允许压缩,但不许行外存储。

不过实际上,为了保证过大数据的存储,行外存储在其它方式(例如压缩)都无法满足需求的情况下,作为最后手段还是会被启动。因此理解为尽量不使用行外存储更贴切。

策略:EXTENDED

说明:允许行外存储和压缩。

一般会先压缩,如果还是太大,就会行外存储

策略:EXTERNA

说明:允许行外存储,但不许压缩。

类似字符串这种会对数据的一部分进行操作的字段,采用此策略可能获得更高的性能,因为不需要读取出整行数据再解压。


Toast表额外的三个字段

字段名:chunk_id

属性:标识TOAST表的OID字段

字段名:chunk_seq

属性:chunk的序列号,与chunk_id的组合唯一索引可以加速访问

字段名:chunk_data

属性:存储TOAST表的实际数据

--查看tost表oid

testdb=# select relname,oid,rreltoastrelid from pg_class where relname='toast_t1';

relname | relfilenode | reltoastrelid

----------+-------------+---------------

toast_t1 | 16385 | 16389

--查看tost表结构,tost表属于pg_tost模式

testdb=# \d+ pg_toast.pg_toast_16385

Column | Type | Storage

------------+---------+---------

chunk_id | oid | plain

chunk_seq | integer | plain

chunk_data | bytea | plain


Toast表的计算

计算一个表的大小时要注意统计Toast的大小,因为对超长字段存储时,在基础表上可能只存了20%,另外的数据都存到了Toast里面去了,计算大小时要结合起来看

索引也是一样,对于表里有extended或者EXTERNA 类型的会创建Toast表,两者的关联是通过pg_class里的OID去关联的


· Toast表的计算案例(一)

testdb=# create table toast_t(id int,vname varchar(48),remark text);

CREATE TABLE

testdb=# select relname,oid from pg_class where relname = 'toast_t';

relname | oid

---------+-------

toast_t | 16392

testdb=# select relname,reltoastrelid from pg_class where relname = 'toast_t';

relname | reltoastrelid

---------+---------------

toast_t | 16395

testdb=# select relname from pg_class where oid = '16395';

relname

----------------

pg_toast_16392


· Toast表的计算案例(二)

--插入数据,此时remark列值长度小于2KB,所以不会触发tost存储:

insert into toast_t

select generate_series(1,4),repeat('kenyon here'||'^_^',2),repeat('^_^ Kenyon is not God,Remark here!!',2000);

--查看表中列值大小:

testdb=# select pg_column_size(id),pg_column_size(vname),pg_column_size(remark) from toast_t limit 10;

pg_column_size | pg_column_size | pg_column_size

----------------+----------------+----------------

4 | 29 | 851

4 | 29 | 851

4 | 29 | 851

4 | 29 | 851


· Toast表的计算案例(三)

--查看基础表和 Toast 的大小

testdb=# select pg_size_pretty(pg_relation_size('toast_t'));

pg_size_pretty

----------------

8192 bytes

--查看tost表尺寸

testdb=# select pg_size_pretty(pg_relation_size('16395'));

pg_size_pretty

----------------

0 bytes

此时remark列值长度小于2KB,所以不会触发tost存储。


· Toast表的计算案例(四)

--remark列值超过 2kb 左右时触发了tost存储方式

insert into toast_t select generate_series(3,4),repeat('kenyon here'||'^_^',2),repeat('^_^ Kenyon is not God,Remark here!!',5500);

testdb=# select pg_size_pretty(pg_relation_size('16395'));

pg_size_pretty

----------------

8192 bytes


· Toast表的计算案例(五)

--查看各列的数据变化,说明在列尺寸超过2k的时候就会把数据存放到toast表中:

testdb=# select pg_column_size(id),pg_column_size(vname),pg_column_size(remark) from toast_t;

pg_column_size | pg_column_size | pg_column_size

----------------+----------------+----------------

4 | 29 | 851

4 | 29 | 851

4 | 29 | 851

4 | 29 | 851

4 | 29 | 1651

4 | 29 | 1651

4 | 29 | 2247

4 | 29 | 2247


· Toast表的计算案例(六)

--继续插入更多的数据:

insert into toast_t select generate_series(1,2),repeat('kenyon here'||'^_^',2),repeat('^_^ Kenyon is not God,Remark here!!',10000);

--查看toast表大小:

testdb=# select pg_size_pretty(pg_relation_size('16395'));

pg_size_pretty

----------------

16 kB

--继续插入更多的数据,20000

可以看到后插入的数据随着字段内容的增多,toast 段一直在变大。基础表的大小没有变化。这个和 Oracle 存储的大字段内容比较像,Oracle 存储 Blob和clob 类的数据时也是指定另外的 segment 来存储,而不是在原表中存储,当然可以设置 enable storage in row 来指定表中存储


Toast表的优点

1.可以存储超长超大字段,避免之前不能直接存储的限制

2.物理上与普通表是分离的,检索查询时不检索到该字段会极大地加快速度

3.更新普通表时,该表的Toast数据没有被更新时,不用去更新Toast表


Toast表的缺点

1.对大字段的索引创建是一个问题,有可能会失败,通常不建议在大字段上创建,全文检索是一个解决方案

2.大字段的更新会有点慢,其它DB也存在相同问题


Oracle大对象段存储特点

11g版本中推出了针对 LOB字段处理的新技术:SecureFiles

该技术在性能、可管理性、易用性等方面,具有如下具体特点和优势:

· 提供数据去重、压缩和透明加密功能

· SecureFiles不仅可以有效降低LOB字段存储空间消耗,提高了访问效率,而且提高了LOB字段的数据安全性。


以上述某系统为例,我们将其中一个100GB的LOB字段转换为SecureFiles,并采用压缩技术之后,最终只消耗30GB空间,大大压缩了存储空间。

·新的网络协议

SecureFiles提供一种新的Client/Server方式的内部读写机制,有效提高了大量数据传输的效率。

· 简化物理属性设计和管理

SecureFiles提供了大量自动化的物理属性机制,免去了大量物理属性设计和管理工作。例如:CHUNK属性为可变长,最大能支持到64M;Oracle能自动进行碎片整理;

· SecureFiles还自动进行redo和undo的管理,避免大量不必要的redo和 undo信息的产生。


以上就是【PostgreSQL从小白到专家】第24讲 - TOAST技术  的内容,欢迎一起探讨交流钉钉交流群:35,82,24,60,往期视频及文档内容联系CUUG

  • 腾讯云tdsql认证的优势和考试费用
  • 11月16日,工信部人才交流中心 & CUUG - PGCP+PGCM认证考试完成
  • 2024年11月14日,工信人才发布红头文件:PostgreSQL数据库管理人才研修与评测班
  • 工业和信息化部人才交流中心关于培训考试评价证书更名的通告
  • PostgreSQL认证考试费用分析
  • 活动报名 《国产开源数据库PolarDB+PostgreSQL专家训练营》北京站
  • 金仓数据库认证值得考吗
  • 选择PGCA认证,还是选择PGCP认证
  • 签约!北京某大型档案馆、成都市某科研所与CUUG签约工信人才PG认证学习
  • PostgreSQL技术大讲堂 - 第74讲:PostgreSQL SQL调优二
  • 恭喜CUUG 11月16日考试的同学获得PG中级、PG高级证书
  • 推动国内信创数据库发展,考取信创PostgreSQL认证
  • 为什么要发展信创数据库-信创PostgreSQL认证
  • 中科方德「方德高可信服务操作系统」通过PolarDB产品生态集成认证
  • PostgreSQL技术大讲堂 - 第75讲:SQL调优(3)索引调优升级版
  • PostgreSQL技术大讲堂 - 第76讲:调优(4)分区表索引调优
  • PostgreSQL与MySQL相似之处与不同之处
  • 免费学习PostgreSQL,来这里看看PG从小白到专家技术公开课
  • OCP认证考试哪家机构划算
  • OCM认证烂大街了吗?OCM战袍在此,永不过时!
  • 报名OCP认证考试,送一次免费补考机会,限时活动,名额有限!
  • 恭喜CUUG韩同学通过Oracle考试拿到OCP 19c证书
  • 1月15日证书来啦!工信部人才交流中心PostgreSQL中级高级认证
  • OCP英文全称是什么
  • PolarDB PostgreSQL版高可用原理分析
  • 工信部人才交流中心与教育部学生服务与素质发展中心战略合作
  • 为什么说开展信创数据库势在必行
  • PostgreSQL认证是什么,值得考吗
  • PostgreSQL证书什么样子的
  • RAG,搭建PG向量数据库AI机器人(文档下载+视频)
  • 从中美贸易战金融战科技战,看我国发展信创的必要性
  • 微软发布基于PostgreSQL的开源文档数据库平台DocumentDB
  • 信创领域的PostgreSQL管理员认证
  • OCP是什么意思 OCP有用吗
  • 【重磅消息】Oracle OCP 认证考试,CUUG赠送一次免费补考机会!
  • PostgreSQL技术大讲堂 - 第77讲:DB4AI 搭建PG向量数据库AI机器人
  • PostgreSQL技术大讲堂 - 第78讲:分布式数据库-GreenPlum应用实践
  • PostgreSQL技术大讲堂 - 第79讲:PG流复制管理利器repmgr应用实践
  • PostgreSQL数据库管理员认证的含金量
  • 12月6日恭喜CUUG郑同学通过OCP考试获得OCP证书
  • PolarDB for PostgreSQL:OSS 外表
  • 【会议回顾】11月29日,国产开源数据库PolarDB&PG专家训练营 - 北京站
  • 11月30日,工信部人才交流中心 & CUUG - PGCPPGCM认证考试完成!
  • 2024年12月PostgreSQL排名第四,已对SQL Server造成威胁
  • PostgreSQL技术大讲堂 - 第72讲:索引与SQL调优之禁忌之恋
  • PostgreSQL技术大讲堂 - 第73讲:AI4DB系列公开课--搭建私域大模型
  • 百期PostgreSQL技术公开课进行时,已讲到第73期了
  • 如何建设国内postgresql数据库生态环境
  • ocp认证烂大街了吗?并未烂大街
  • 在去Oracle环境下,市场还认可OCP认证吗?