postgresql 分表

本贴最后更新于 2121 天前,其中的信息可能已经东海扬尘

一:概述
    在客户数据积累到一定程度后,尤其是单表数据达到千万级别的时候,随着查询速度越来越慢以及数据管理等需求,就要考虑分表,pg 的分表把逻辑上的一个大表分割成物理上的几块,分表后,不仅带来查询速度的提升,数据管理与维护也方便了许多(把逻辑上很大的一块按照某个维度分成了 N 个小块)。
二:分表
    2.1 创建主表
    create table t_student(
     student_id serial8 primary key,
     name varchar(255),
     age int4,
     create_date date
    )
    2.2 创建分区表
    create table t_student_1_1000(check (student_id >=1 and student_id <1000)) inherits(t_student);
    create table t_student_1000_2000(check (student_id >=1000 and student_id <2000)) inherits(t_student);
    create table t_student_2000_3000(check (student_id >=2000 and student_id <3000)) inherits(t_student);
    2.3 创建触发器函数
    create or replace function t_student_insert_trigger()
    returns trigger
    language plpgsql
    as

&nbsp;&nbsp;&nbsp;&nbsp;begin &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(new.student_id >=1 and new.student_id < 1000) then &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;insert into t_student_1_1000 values(new.*); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;elsif(new.student_id >=1000 and new.student_id < 2000) then &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;insert into t_student_1000_2000 values(new.*); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;elsif(new.student_id >=2000 and new.student_id < 3000) then &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;insert into t_student_2000_3000 values(new.*); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;raise exception 'student_id out of range.Fix the t_student_insert_trigger() function!'; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;end if; &nbsp;&nbsp;&nbsp;&nbsp;return null; &nbsp;&nbsp;&nbsp;&nbsp;end; &nbsp;&nbsp;&nbsp;&nbsp;

    2.4 创建触发器
    create trigger insert_t_student_parttion_trigger before insert on t_student for each row execute procedure t_student_insert_trigger();
三:测试
    3.1 插入数据
    insert into t_student (student_id,name,age,create_date) values(1,'zhangsan',21,now());
    insert into t_student (student_id,name,age,create_date) values(2,'lisi',21,now());
    insert into t_student (student_id,name,age,create_date) values(1000,'wangwu',21,now());
    insert into t_student (student_id,name,age,create_date) values(1001,'zhaoliu',21,now());
    insert into t_student (student_id,name,age,create_date) values(2000,'zhaoqi',21,now());
    insert into t_student (student_id,name,age,create_date) values(2001,'wangba`',21,now());
    3.2 查看数据
    3.2.1 查看主表数据
    postgres=# select * from t_student;
    student_id | name | age | create_date
    ------------+----------+-----+-------------
     1 | zhangsan | 21 | 2018-09-11

     2 | lisi | 21 | 2018-09-11

     1000 | wangwu | 21 | 2018-09-11

     1001 | zhaoliu | 21 | 2018-09-11

     2000 | zhaoqi | 21 | 2018-09-11

     2001 | wangba` | 21 | 2018-09-11
    3.2.2 查看分区表数据
    postgres=# select * from t_student_1_1000 ;

    student_id | name | age | create_date

    ------------+----------+-----+-------------

     1 | zhangsan | 21 | 2018-09-11

     2 | lisi | 21 | 2018-09-11

    (2 rows)

    postgres=# select * from t_student_1000_2000 ;

     student_id | name | age | create_date

    ------------+---------+-----+-------------

     1000 | wangwu | 21 | 2018-09-11

     1001 | zhaoliu | 21 | 2018-09-11

    (2 rows)

    postgres=# select * from t_student_2000_3000 ;

     student_id | name | age | create_date

    ------------+---------+-----+-------------

     2000 | zhaoqi | 21 | 2018-09-11

     2001 | wangba` | 21 | 2018-09-11
    3.3 执行
    postgres=# explain select * from t_student where student_id between 1 and 10;

     QUERY PLAN

    -------------------------------------------------------------------------

     Append (cost=0.00..12.10 rows=2 width=532)

     -> Seq Scan on t_student (cost=0.00..0.00 rows=1 width=532)

     Filter: ((student_id >= 1) AND (student_id <= 10))

     -> Seq Scan on t_student_1_1000 (cost=0.00..12.10 rows=1 width=532)

     Filter: ((student_id >= 1) AND (student_id <= 10))

    (5 rows)
四:注意事项
    4.1 主表一定不能有数据,如果在已有数据的表上做分表操作的话,先对原来的表数据进行备份,然后进行表数据删除处理,等分表跟触发器都创建完毕后,再从备份恢复数据,数据就会插入到各自的分区表里
    4.2 一定要注意触发器函数的 range 范围,最好把未来几年的全部创建好,否则插入数据超出范围的话会报 exception,如果插入新的分区表,只需要创建新的分区表跟更新触发器函数即可
    4.3 每个业务的 range 定义字段都有所不同,id 分的话,每个分区表的数据都会比较均匀,也可以按照时间字段等去划分
    4.4 where 查询如果字段包含分区字段的话,会去相关的分区表里去检索数据,如果有其他常用的检索字段的话,请自行在分区表里增加索引字段提高更快速的检索速度
五:参考资料
    pg 官方文档:https://www.postgresql.org/docs/10/static/ddl-partitioning.html

  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    332 引用 • 619 回帖
  • PostgreSQL

    PostgreSQL 是一款功能强大的企业级数据库系统,在 BSD 开源许可证下发布。

    22 引用 • 22 回帖
  • 分区表
    1 引用

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Unity

    Unity 是由 Unity Technologies 开发的一个让开发者可以轻松创建诸如 2D、3D 多平台的综合型游戏开发工具,是一个全面整合的专业游戏引擎。

    25 引用 • 7 回帖 • 233 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库,强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery,是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 732 关注
  • 面试

    面试造航母,上班拧螺丝。多面试,少加班。

    324 引用 • 1395 回帖 • 4 关注
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 708 关注
  • 旅游

    希望你我能在旅途中找到人生的下一站。

    86 引用 • 896 回帖 • 1 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    106 引用 • 152 回帖
  • BAE

    百度应用引擎(Baidu App Engine)提供了 PHP、Java、Python 的执行环境,以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用,并且提供动态扩容和负载均衡的运行环境,让开发者不用考虑高成本的运维工作,只需专注于业务逻辑,大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 618 关注
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用 • 15 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 632 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 405 关注
  • 游戏

    沉迷游戏伤身,强撸灰飞烟灭。

    171 引用 • 813 回帖 • 1 关注
  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 524 关注
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    484 引用 • 906 回帖 • 1 关注
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    51 引用 • 226 回帖
  • ngrok

    ngrok 是一个反向代理,通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 605 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 31 回帖 • 8 关注
  • 996
    13 引用 • 200 回帖 • 2 关注
  • 程序员

    程序员是从事程序开发、程序维护的专业人员。

    541 引用 • 3529 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 60 关注
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机,如:iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    164 引用 • 594 回帖 • 2 关注
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1083 引用 • 3461 回帖 • 262 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用,支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    16 引用 • 7 回帖
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • LeetCode

    LeetCode(力扣)是一个全球极客挚爱的高质量技术成长平台,想要学习和提升专业能力从这里开始,充足技术干货等你来啃,轻松拿下 Dream Offer!

    209 引用 • 72 回帖
  • C

    C 语言是一门通用计算机编程语言,应用广泛。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。

    83 引用 • 165 回帖 • 11 关注
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎,可以结合 MySQL、PostgreSQL 做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。

    1 引用 • 191 关注