猪怕过年，DBA怕什么？
本周六直播预约中:
《PG 64位XID设计思路解读 & 32位XID存在的风险规避和故障处理方法》
大新闻: PG 64-bit XID 设计和patch出炉, 它真的来了?
本期直播嘉宾: 黄长城老师、邱神医、陈卫星、德哥
文中参考文档点击阅读原文打开, 同时推荐2个学习环境:
1、懒人Docker镜像, 已打包200+插件:《最好的PostgreSQL学习镜像》
2、有web浏览器就能用的云起实验室: 《免费体验PolarDB开源数据库》
3、PolarDB开源数据库内核、最佳实践等学习图谱: https://www.aliyun.com/database/openpolardb/activity
猪怕过年，DBA怕什么？早上起来数据没写进去，因为分区没提前创建，或者是默认分区都快写炸了才知道分区没建。
第38期吐槽:PG 分区表不能自动创建(扩展)分区
1、产品的问题点
PG 分区表不能自动创建(扩展)分区
例如按日期分区的分区表, 每个月1个分区, 如果写入的数据落入了不存在的分区会报错, 而不是自动创建该分区.
2、问题点背后涉及的技术原理
PG 支持range, list, hash分区方法, 写入数据时, 根据分区字段的value计算得到对应的分区, 如果元数据中没有定义这个分区, 并且也没有定义默认分区的话, 报错.
一般时间类型的分区字段采用range分区, 例如按年、月、日分区.
某些可枚举的字段分区, 通常采用list分区.
某些字段值较多, 但是总会按照这个值进行等值查询的, 比如用户ID, 则通常使用hash分区.
某些情况下也可能会采用多级分区, 如hash+range, ...
3、这个问题将影响哪些行业以及业务场景
通用场景, 特别是list和range分区
4、会导致什么问题?
list和range分区往往是随着时间的推移或业务持续运营会发生变化, 所以无法在分区表定义时完全固定下来, 而需要有开发者或DBA在需要时提前创建. 如果忘记提前创建分区, 会导致写入异常, 影响业务.
例如每个月底DBA负责创建下个月的分区.
业务有新增的分区枚举值时, DBA提前创建list分区.
5、业务上应该如何避免这个坑
配置JOB, 自动创建
将分区表的创建操作规范化, 通过巡检、日常操作等制度机制保障不出现无分区的情况.
《PostgreSQL 自动创建分区实践 - 写入触发器》
或者使用pg_pathman这样的插件, 支持自动扩展分区. 但是这个插件也有问题, 如果你写入了一条未来很久远的记录, 会把中间所有的分区表都创建出来, 导致创建非常非常多的分区表, 不知道现在修复了没有?
6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
管理变得复杂, 任务、机制与业务紧耦合, 增加业务风险点
7、数据库未来产品迭代如何修复这个坑
希望内核支持: 配置好分区规则(range, list都有模板可以套), 如果写入的数据对应的分区不存在, 希望可以自动创建不存在的分区.
本期彩蛋-招商中,有需要的小伙伴可联系嵌入...
文章中的参考文档请点击阅读原文获得.
欢迎关注我的github (https://github.com/digoal/blog) , 学习数据库不迷路.
近期正在写公开课材料, 未来将通过视频号推出, 欢迎关注视频号: