专栏导览
按领域划分的六个长青专栏,均提供独立的 RSS 订阅源。

PostgreSQL监控系统概览
监控系统是几乎所有运维工作的基础,更亦是驾驭数据库的必备工具,本文简单介绍了一个PostgreSQL的监控系统。

互联网之殇
前途是不一定是光明的,道路肯定是曲折的。

理解时间:闰年闰秒,时间与时区
四年一遇的闰年2月29日,总有土鳖软件出现大翻车。对时间的正确理解,对正确处理工作生活中的时间问题很有帮助。本文聊一聊闰年、闰秒、时间与时区的原理,以及在数据库与编程语言中的注意事项。

故障档案:pg_dump导致的连接池污染
有时候,组件之间的相互作用会以微妙的形式表现出来。例如使用pg_dump从连接池中导出数据,就可能产生连接池污染的问题。

新年随想
前途是不一定是光明的,道路肯定是曲折的。新年难得有闲暇独处,写下此篇随笔,想到哪儿就写到哪。

中国行政区划相关知识
有关行政区划的等级、数量,行政区划代码的意义,城乡划分等。

互联网之冬
这是最好的时代,也是最坏的时代。人们正踏上天堂之路,人们正走向地狱之门。

PostgreSQL数据页面损坏修复
采用二进制编辑的方式修复PostgreSQL数据页,以及如何让一条主键查询出现两条记录来。

做正确的事
虚假的游记与评论,是技术用于歧途的表现。软件工程师作为先进生产力的代表,有责任将自己的力量用在正确的事情上。

理解互联网
世界潮流,浩浩汤汤。顺之则昌,逆之则亡。本文来聊一聊互联网的本质,互联网统治下的世界,权力的转移与未来的冲击。

关系膨胀的监控与治理
PostgreSQL使用了MVCC作为主要并发控制技术,它有很多好处,但也会带来一些其他的影响,例如关系膨胀。

珠峰东坡:嘎玛沟徒步
13天旅程,8天徒步,走完了著名的骨灰级路线 —— 嘎玛沟 终于看到最美的珠峰东坡日照金山。

TimescaleDB 快速上手
TimescaleDB是PostgreSQL的一个扩展插件,提供时序数据库的一些功能。

PipelineDB快速上手
PipelineDB是PostgreSQL的一个扩展插件,提供流式数据处理的相关功能。

故障档案:序列号消耗过快导致整型溢出
如果您在表上用了Interger的序列号,最好还是考虑一下可能溢出的情况。

故障档案:PostgreSQL事务号回卷
XID WrapAround也许是PostgreSQL特有的一种故障。

学习知识的几个层次
通过观察思辨,我们把脑内认识深化过程从接受知识开始到最高的“悟性”层次可以分成四个阶段:知识,理解,意识,悟性。

PostgreSQL的触发器使用注意事项
详细了解PostgreSQL中触发器的管理与使用。

GeoIP 地理逆查询优化
在应用开发中,一个很常见的需求就是GeoIP转换:将请求的来源IP转换为相应的地理坐标,或者行政区划。

理解字符编码原理
如果不了解字符编码的基本原理,即使只是简单常规的字符串比较、排序、随机访问操作,都可能会一不小心栽进大坑中。本文详细解析ASCII、Unicode、UTF-8等编码原理,希望能讲清楚这个问题。

理解字符编码
程序员,是与Code(代码/编码)打交道的,而字符编码又是最为基础的编码。如何使用二进制数来表示字符,这个字符编码问题并没有看上去那么简单,本文希望能讲清楚这个问题。

PostgreSQL开发规约(2018版)
没有规矩,不成方圆。本文针对PostgreSQL数据库原理与特性,整理了一份开发规范,可以减少大家在使用PostgreSQL数据库过程中遇到的困惑。

并发异常那些事
并发程序很难写对,更难写好。很多程序员只是把问题丢给数据库,但即使最强大的ACID数据库也会使用弱隔离级别。本文阐述SQL92标准定义的隔离级别及其缺陷,以及现代模型中的隔离级别定义。

PostgreSQL好处都有啥
PostgreSQL的Slogan是"世界上最先进的开源关系型数据库",要我说最能生动体现PG特色的口号应该是:一专多长的全栈数据库,一招鲜吃遍天。

PostgreSQL监控系统概览
监控系统是几乎所有运维工作的基础,更亦是驾驭数据库的必备工具,本文简单介绍了一个PostgreSQL的监控系统。

互联网之殇
前途是不一定是光明的,道路肯定是曲折的。

理解时间:闰年闰秒,时间与时区
四年一遇的闰年2月29日,总有土鳖软件出现大翻车。对时间的正确理解,对正确处理工作生活中的时间问题很有帮助。本文聊一聊闰年、闰秒、时间与时区的原理,以及在数据库与编程语言中的注意事项。

故障档案:pg_dump导致的连接池污染
有时候,组件之间的相互作用会以微妙的形式表现出来。例如使用pg_dump从连接池中导出数据,就可能产生连接池污染的问题。

新年随想
前途是不一定是光明的,道路肯定是曲折的。新年难得有闲暇独处,写下此篇随笔,想到哪儿就写到哪。

中国行政区划相关知识
有关行政区划的等级、数量,行政区划代码的意义,城乡划分等。

互联网之冬
这是最好的时代,也是最坏的时代。人们正踏上天堂之路,人们正走向地狱之门。

PostgreSQL数据页面损坏修复
采用二进制编辑的方式修复PostgreSQL数据页,以及如何让一条主键查询出现两条记录来。

做正确的事
虚假的游记与评论,是技术用于歧途的表现。软件工程师作为先进生产力的代表,有责任将自己的力量用在正确的事情上。

理解互联网
世界潮流,浩浩汤汤。顺之则昌,逆之则亡。本文来聊一聊互联网的本质,互联网统治下的世界,权力的转移与未来的冲击。

关系膨胀的监控与治理
PostgreSQL使用了MVCC作为主要并发控制技术,它有很多好处,但也会带来一些其他的影响,例如关系膨胀。

珠峰东坡:嘎玛沟徒步
13天旅程,8天徒步,走完了著名的骨灰级路线 —— 嘎玛沟 终于看到最美的珠峰东坡日照金山。

TimescaleDB 快速上手
TimescaleDB是PostgreSQL的一个扩展插件,提供时序数据库的一些功能。

PipelineDB快速上手
PipelineDB是PostgreSQL的一个扩展插件,提供流式数据处理的相关功能。

故障档案:序列号消耗过快导致整型溢出
如果您在表上用了Interger的序列号,最好还是考虑一下可能溢出的情况。

故障档案:PostgreSQL事务号回卷
XID WrapAround也许是PostgreSQL特有的一种故障。

学习知识的几个层次
通过观察思辨,我们把脑内认识深化过程从接受知识开始到最高的“悟性”层次可以分成四个阶段:知识,理解,意识,悟性。

PostgreSQL的触发器使用注意事项
详细了解PostgreSQL中触发器的管理与使用。

GeoIP 地理逆查询优化
在应用开发中,一个很常见的需求就是GeoIP转换:将请求的来源IP转换为相应的地理坐标,或者行政区划。

理解字符编码原理
如果不了解字符编码的基本原理,即使只是简单常规的字符串比较、排序、随机访问操作,都可能会一不小心栽进大坑中。本文详细解析ASCII、Unicode、UTF-8等编码原理,希望能讲清楚这个问题。

理解字符编码
程序员,是与Code(代码/编码)打交道的,而字符编码又是最为基础的编码。如何使用二进制数来表示字符,这个字符编码问题并没有看上去那么简单,本文希望能讲清楚这个问题。

PostgreSQL开发规约(2018版)
没有规矩,不成方圆。本文针对PostgreSQL数据库原理与特性,整理了一份开发规范,可以减少大家在使用PostgreSQL数据库过程中遇到的困惑。

并发异常那些事
并发程序很难写对,更难写好。很多程序员只是把问题丢给数据库,但即使最强大的ACID数据库也会使用弱隔离级别。本文阐述SQL92标准定义的隔离级别及其缺陷,以及现代模型中的隔离级别定义。

PostgreSQL好处都有啥
PostgreSQL的Slogan是"世界上最先进的开源关系型数据库",要我说最能生动体现PG特色的口号应该是:一专多长的全栈数据库,一招鲜吃遍天。
PostgreSQL监控系统概览

PostgreSQL 驾驶技巧 PostgreSQL 是一个很棒的数据库,但也相当复杂。上手虽简单,但想要用好不容易,想要管理好就更麻烦了。监控系统是几乎所有运维工作的基础,更亦是驾驭数据库的必备工具。用好一个监控系统,理解各种指标背后的意义并不是一件简单的事情,因此本司机决定写一系列文章,来介绍了 PostgreSQL 监控系统的设计,实施与使用。 0x01 PostgreSQL 监控面板 为了帮助读者形成一种直觉,这里展示了在实际环境中,我所使用的监控面板。最为常用的监控面板为“单数据库实例 …
PostgreSQL 驾驶技巧 PostgreSQL 是一个很棒的数据库,但也相当复杂。上手虽简单,但想要用好不容易,想要管理好就更麻烦了。监控系统是几乎所有运维工作的基础,更亦是驾驭数据库的必备工具。用好一个监控系统,理解各种指标背后的意义并不是一件简单的事情,因此本司机决定写一系列文章,来介绍了 PostgreSQL 监控系统的设计,实施与使用。 0x01 PostgreSQL 监控面板 为了帮助读者形成一种直觉,这里展示了在实际环境中,我所使用的监控面板。最为常用的监控面板为“单数据库实例 …
互联网之殇

《理解互联网》 中聊了对互联网的认识,今天聊一聊刻意省略的部分:互联网将面临的挫折。 命运 这是一个最好的时代,也是一个最坏的时代; 这是一个智慧的年代,这是一个愚蠢的年代; 这是一个信任的时期,这是一个怀疑的时期; 这是一个光明的季节,这是一个黑暗的季节; 这是希望之春,这是失望之冬; 人们面前应有尽有,人们面前一无所有; 人们正踏上天堂之路,人们正走向地狱之门。 —— 狄更斯,《双城记》 让我们先从宏大叙事开始。 互联网的长远发展是无比光明的,因为这是一种新兴的社会组织形式,具有无可比拟的巨 …
《理解互联网》 中聊了对互联网的认识,今天聊一聊刻意省略的部分:互联网将面临的挫折。 命运 这是一个最好的时代,也是一个最坏的时代; 这是一个智慧的年代,这是一个愚蠢的年代; 这是一个信任的时期,这是一个怀疑的时期; 这是一个光明的季节,这是一个黑暗的季节; 这是希望之春,这是失望之冬; 人们面前应有尽有,人们面前一无所有; 人们正踏上天堂之路,人们正走向地狱之门。 —— 狄更斯,《双城记》 让我们先从宏大叙事开始。 互联网的长远发展是无比光明的,因为这是一种新兴的社会组织形式,具有无可比拟的巨 …
理解时间:闰年闰秒,时间与时区

前几天出现了四年一遇的闰年 2 月 29 号,每到这一天,总会有一些土鳖软件出现大翻车。这种问题如果运气不好,可能要等上四年才会暴露出来。比如今天新鲜出炉的:禾赛科技激光雷达和新西兰加油站都因为闰年 Bug 无法使用。 今天确实是个很应景的日子,所以重发这篇六年前写的老文。聊一聊闰年,闰秒,时间与时区的原理,以及在数据库与编程语言中的注意事项。 0x01 秒与计时 时间的单位是秒,但秒的定义并不是一成不变的。它有一个天文学定义,也有一个物理学定义。 世界时(UT1) 在最开始,秒的定义来源于日。 …
前几天出现了四年一遇的闰年 2 月 29 号,每到这一天,总会有一些土鳖软件出现大翻车。这种问题如果运气不好,可能要等上四年才会暴露出来。比如今天新鲜出炉的:禾赛科技激光雷达和新西兰加油站都因为闰年 Bug 无法使用。 今天确实是个很应景的日子,所以重发这篇六年前写的老文。聊一聊闰年,闰秒,时间与时区的原理,以及在数据库与编程语言中的注意事项。 0x01 秒与计时 时间的单位是秒,但秒的定义并不是一成不变的。它有一个天文学定义,也有一个物理学定义。 世界时(UT1) 在最开始,秒的定义来源于日。 …
故障档案:pg_dump导致的连接池污染

PostgreSQL很棒,但这并不意味着它是Bug-Free的。这一次在线上环境中,我又遇到了一个很有趣的Case:由 pg_dump 导致的线上故障。这是一个非常微妙的Bug,由Pgbouncer,search_path,以及特殊的 pg_dump 操作所触发。 背景知识 连接污染 在PostgreSQL中,每条数据库连接对应一个后端进程,会持有一些临时资源(状态),在连接结束时会被销毁,包括: 本会话中修改过的参数。RESET ALL; 准备好的语句。 DEALLOCATE ALL 打开的游 …
PostgreSQL很棒,但这并不意味着它是Bug-Free的。这一次在线上环境中,我又遇到了一个很有趣的Case:由 pg_dump 导致的线上故障。这是一个非常微妙的Bug,由Pgbouncer,search_path,以及特殊的 pg_dump 操作所触发。 背景知识 连接污染 在PostgreSQL中,每条数据库连接对应一个后端进程,会持有一些临时资源(状态),在连接结束时会被销毁,包括: 本会话中修改过的参数。RESET ALL; 准备好的语句。 DEALLOCATE ALL 打开的游 …
新年随想

本文可能引起不适,阅读请谨慎。 新年难得有闲暇独处,写下此篇随笔,想到哪儿就写到哪。 我一直认为选择要比努力重要:人的一生在形式上就是由一系列关键的选择组成的路径,做出正确的选择需要智慧,而坚持努力前行需要意志。智慧与意志两者都是珍贵而稀有的属性,但智慧相对更为重要,因为它决定了前进的方向,以及可行选择的多少。 在过去一年里,我做出了很多重要的选择:换了职业,换了行业,也换了工作。但要说最重要的选择是什么,我认为是将大量时间花在了社会认知水平的提高上。得益于职业特殊性,我有着大把的时间来学习, …
本文可能引起不适,阅读请谨慎。 新年难得有闲暇独处,写下此篇随笔,想到哪儿就写到哪。 我一直认为选择要比努力重要:人的一生在形式上就是由一系列关键的选择组成的路径,做出正确的选择需要智慧,而坚持努力前行需要意志。智慧与意志两者都是珍贵而稀有的属性,但智慧相对更为重要,因为它决定了前进的方向,以及可行选择的多少。 在过去一年里,我做出了很多重要的选择:换了职业,换了行业,也换了工作。但要说最重要的选择是什么,我认为是将大量时间花在了社会认知水平的提高上。得益于职业特殊性,我有着大把的时间来学习, …
中国行政区划相关知识

中国行政区划分为几个级别,宪法规定了三个级别,但实际上有五个级别:省—地区—县(区)—乡镇” 四级制,算上中央就是五级。 行政区划的级别 中国行政区划(administrative division)分为几个级别(government level): 宪法规定了三个级别(de jure level),但实际上有五个级别(de facto level/practical level) 我国现行的行政层级是“省—地区—县(区)—乡镇” 四级制,算上中央就是五级。 由于我国存在“以党代政”的问题,有党 …
中国行政区划分为几个级别,宪法规定了三个级别,但实际上有五个级别:省—地区—县(区)—乡镇” 四级制,算上中央就是五级。 行政区划的级别 中国行政区划(administrative division)分为几个级别(government level): 宪法规定了三个级别(de jure level),但实际上有五个级别(de facto level/practical level) 我国现行的行政层级是“省—地区—县(区)—乡镇” 四级制,算上中央就是五级。 由于我国存在“以党代政”的问题,有党 …
互联网之冬

这是最好的时代,也是最坏的时代; 这是智慧的年代,这是愚蠢的年代; 这是信任的时期,这是怀疑的时期; 这是光明的季节,这是黑暗的季节; 这是希望之春,这是失望之冬; 人们面前应有尽有,人们面前一无所有; 人们正踏上天堂之路,人们正走向地狱之门。 —— 狄更斯,《双城记》 互联网之冬 让我们先从宏大叙事开始。 互联网的长远发展是无比光明的,因为这是一种新兴的社会组织形式,具有无可比拟的巨大优势。 以阿里巴巴为例,为什么一家做toB交易中介平台起家的网站,能够发展成为今天这样一个囊括人们衣食住行吃 …
这是最好的时代,也是最坏的时代; 这是智慧的年代,这是愚蠢的年代; 这是信任的时期,这是怀疑的时期; 这是光明的季节,这是黑暗的季节; 这是希望之春,这是失望之冬; 人们面前应有尽有,人们面前一无所有; 人们正踏上天堂之路,人们正走向地狱之门。 —— 狄更斯,《双城记》 互联网之冬 让我们先从宏大叙事开始。 互联网的长远发展是无比光明的,因为这是一种新兴的社会组织形式,具有无可比拟的巨大优势。 以阿里巴巴为例,为什么一家做toB交易中介平台起家的网站,能够发展成为今天这样一个囊括人们衣食住行吃 …
PostgreSQL数据页面损坏修复

PostgreSQL是一个很可靠的数据库,但是再可靠的数据库,如果碰上了不可靠的硬件,恐怕也得抓瞎。本文介绍了在PostgreSQL中,应对数据页面损坏的方法。 最初的问题 线上有一套统计库跑离线任务,业务方反馈跑SQL的时候碰上一个错误: ERROR: invalid page in block 18858877 of relation base/16400/275852 看到这样的错误信息,第一直觉就是硬件错误导致的关系数据文件损坏,第一步要检查定位具体问题。 这里,16400是数据库的 …
PostgreSQL是一个很可靠的数据库,但是再可靠的数据库,如果碰上了不可靠的硬件,恐怕也得抓瞎。本文介绍了在PostgreSQL中,应对数据页面损坏的方法。 最初的问题 线上有一套统计库跑离线任务,业务方反馈跑SQL的时候碰上一个错误: ERROR: invalid page in block 18858877 of relation base/16400/275852 看到这样的错误信息,第一直觉就是硬件错误导致的关系数据文件损坏,第一步要检查定位具体问题。 这里,16400是数据库的 …
做正确的事

最近,微信公众号“小声比比”发表了几篇文章,捅了马蜂窝: 估值 175 亿的旅游独角兽,是一座僵尸和水军构成的鬼城? 马蜂窝开始毁灭证据了,但这水平真的哈哈哈哈哈哈哈哈 《我承认,我们是有组织攻击马蜂窝的》 非常敬佩博主梓泉,这个马蜂窝捅的好。蚂蜂窝已经提请诉讼,这个案子无论结果如何,意义和影响都是巨大的。目测将如同 06 年的南京彭宇案一样,载入中国的司法史。当年一个案子让国人的道德观念倒退了五十年;希望这一次劣币不会驱逐良币,虚假不会压倒真实。 虚假的游记与评论,是技术用于歧途的表现。软件工 …
最近,微信公众号“小声比比”发表了几篇文章,捅了马蜂窝: 估值 175 亿的旅游独角兽,是一座僵尸和水军构成的鬼城? 马蜂窝开始毁灭证据了,但这水平真的哈哈哈哈哈哈哈哈 《我承认,我们是有组织攻击马蜂窝的》 非常敬佩博主梓泉,这个马蜂窝捅的好。蚂蜂窝已经提请诉讼,这个案子无论结果如何,意义和影响都是巨大的。目测将如同 06 年的南京彭宇案一样,载入中国的司法史。当年一个案子让国人的道德观念倒退了五十年;希望这一次劣币不会驱逐良币,虚假不会压倒真实。 虚假的游记与评论,是技术用于歧途的表现。软件工 …
理解互联网

我曾经觉得互联网的本质,互联网行业的发展,互联网公司的战略这些“高大上”的东西都应该是政府官员,公司高管思考的问题。作为一个互联网从业人员,一名软件工程师,能把自己领域的技术钻研透就不错了。但现在的我改变了想法:一个人的命运啊,当然要靠自我奋斗,但也要考虑到历史的进程。 世界潮流,浩浩汤汤。顺之则昌,逆之则亡。站在历史转折的十字路口,只有认清大势才不会迷茫。这几个月的空闲时间,几乎全部被我投入到了认识世界的过程之中。大致看清了当前的形势的轮廓,并对未来的走势形成了影影绰绰的直觉;虽然技术进步的脚 …
我曾经觉得互联网的本质,互联网行业的发展,互联网公司的战略这些“高大上”的东西都应该是政府官员,公司高管思考的问题。作为一个互联网从业人员,一名软件工程师,能把自己领域的技术钻研透就不错了。但现在的我改变了想法:一个人的命运啊,当然要靠自我奋斗,但也要考虑到历史的进程。 世界潮流,浩浩汤汤。顺之则昌,逆之则亡。站在历史转折的十字路口,只有认清大势才不会迷茫。这几个月的空闲时间,几乎全部被我投入到了认识世界的过程之中。大致看清了当前的形势的轮廓,并对未来的走势形成了影影绰绰的直觉;虽然技术进步的脚 …
关系膨胀的监控与治理

PostgreSQL使用了MVCC作为主要并发控制技术,它有很多好处,但也会带来一些其他的影响,例如关系膨胀。关系(表与索引)膨胀会对数据库性能产生负面影响,并浪费磁盘空间。为了使PostgreSQL始终保持在最佳性能,有必要及时对膨胀的关系进行垃圾回收,并定期重建过度膨胀的关系。 在实际操作中,垃圾回收并没有那么简单,这里有一系列的问题: 关系膨胀的原因? 关系膨胀的度量? 关系膨胀的监控? 关系膨胀的处理? 本文将详细说明这些问题。 关系膨胀概述 假设某个关系实际占用存储100G,但其中有很 …
PostgreSQL使用了MVCC作为主要并发控制技术,它有很多好处,但也会带来一些其他的影响,例如关系膨胀。关系(表与索引)膨胀会对数据库性能产生负面影响,并浪费磁盘空间。为了使PostgreSQL始终保持在最佳性能,有必要及时对膨胀的关系进行垃圾回收,并定期重建过度膨胀的关系。 在实际操作中,垃圾回收并没有那么简单,这里有一系列的问题: 关系膨胀的原因? 关系膨胀的度量? 关系膨胀的监控? 关系膨胀的处理? 本文将详细说明这些问题。 关系膨胀概述 假设某个关系实际占用存储100G,但其中有很 …
珠峰东坡:嘎玛沟徒步

今年的国庆假期不错,请六天假就能把中秋国庆串起来,连休十六天。中国的省份差不多都跑了一遍,但西藏还没有去过。在8264上看到了去嘎玛沟/珠峰东坡徒步的活动,心想这个这个倒是不错~,于是就定了下来。 嘎玛沟在上世纪20年代就被英美探险家称为“世界上最美丽的山谷”、“世界十大经典徒步线路”;在中国十大经典徒步线路中排第二名。一路上能看到珠穆朗玛峰(1st, 8844m)、洛子峰(4th, 8516m)、马卡鲁峰(5th, 8463m),以及珠穆朗卓(24th,7804m)。 这条徒步路线挑战不小,全 …
今年的国庆假期不错,请六天假就能把中秋国庆串起来,连休十六天。中国的省份差不多都跑了一遍,但西藏还没有去过。在8264上看到了去嘎玛沟/珠峰东坡徒步的活动,心想这个这个倒是不错~,于是就定了下来。 嘎玛沟在上世纪20年代就被英美探险家称为“世界上最美丽的山谷”、“世界十大经典徒步线路”;在中国十大经典徒步线路中排第二名。一路上能看到珠穆朗玛峰(1st, 8844m)、洛子峰(4th, 8516m)、马卡鲁峰(5th, 8463m),以及珠穆朗卓(24th,7804m)。 这条徒步路线挑战不小,全 …
TimescaleDB 快速上手

官方网站:https://www.timescale.com 官方文档:https://docs.timescale.com/v0.9/main Github:https://github.com/timescale/timescaledb 为什么使用TimescaleDB 什么是时间序列数据? 我们一直在谈论什么是“时间序列数据”,以及与其他数据有何不同以及为什么? 许多应用程序或数据库实际上采用的是过于狭窄的视图,并将时间序列数据与特定形式的服务器度量值等同起来: Name: CPU …
官方网站:https://www.timescale.com 官方文档:https://docs.timescale.com/v0.9/main Github:https://github.com/timescale/timescaledb 为什么使用TimescaleDB 什么是时间序列数据? 我们一直在谈论什么是“时间序列数据”,以及与其他数据有何不同以及为什么? 许多应用程序或数据库实际上采用的是过于狭窄的视图,并将时间序列数据与特定形式的服务器度量值等同起来: Name: CPU …
PipelineDB快速上手

PipelineDB安装与配置 PipelineDB可以直接通过官方rpm包安装。 加载PipelineDB需要添加动态链接库,在 postgresql.conf 中修改配置项并重启: shared_preload_libraries = 'pipelinedb' max_worker_processes = 128 注意如果不修改 max_worker_processes 会报错。其他配置都参照标准的PostgreSQL PipelineDB使用样例 —— 维基PV数据 -- 创建Stream …
PipelineDB安装与配置 PipelineDB可以直接通过官方rpm包安装。 加载PipelineDB需要添加动态链接库,在 postgresql.conf 中修改配置项并重启: shared_preload_libraries = 'pipelinedb' max_worker_processes = 128 注意如果不修改 max_worker_processes 会报错。其他配置都参照标准的PostgreSQL PipelineDB使用样例 —— 维基PV数据 -- 创建Stream …
故障档案:序列号消耗过快导致整型溢出

0x01 概览 故障表现: 某张使用自增列的表序列号涨至整型上限,无法写入。 发现表中的自增列存在大量空洞,很多序列号没有对应记录就被消耗掉了。 故障影响:非核心业务某表,10分钟左右无法写入。 故障原因: 内因:使用了INTEGER而不是BIGINT作为主键类型。 外因:业务方不了解 SEQUENCE 的特性,执行大量违背约束的无效插入,浪费了大量序列号。 修复方案: 紧急操作:降级线上插入函数为直接返回,避免错误扩大。 应急方案:创建临时表,生成5000万个浪费空洞中的临时ID,修改插入函数 …
0x01 概览 故障表现: 某张使用自增列的表序列号涨至整型上限,无法写入。 发现表中的自增列存在大量空洞,很多序列号没有对应记录就被消耗掉了。 故障影响:非核心业务某表,10分钟左右无法写入。 故障原因: 内因:使用了INTEGER而不是BIGINT作为主键类型。 外因:业务方不了解 SEQUENCE 的特性,执行大量违背约束的无效插入,浪费了大量序列号。 修复方案: 紧急操作:降级线上插入函数为直接返回,避免错误扩大。 应急方案:创建临时表,生成5000万个浪费空洞中的临时ID,修改插入函数 …
故障档案:PostgreSQL事务号回卷

遇到一次磁盘坏块导致的事务回卷故障: 主库(PostgreSQL 9.3)磁盘坏块导致几张表上的VACUUM FREEZE执行失败。 无法回收老旧事务ID,导致整库事务ID濒临用尽,数据库进入自我保护状态不可用。 磁盘坏块导致手工VACUUM抢救不可行。 提升从库后,需要紧急VACUUM FREEZE才能继续服务,进一步延长了故障时间。 主库进入保护状态后提交日志(clog)没有及时复制到从库,从库产生存疑事务拒绝服务。 摘要 这是一个即将下线老旧库,疏于管理。坏块征兆在一周前就已经出现,没有及 …
遇到一次磁盘坏块导致的事务回卷故障: 主库(PostgreSQL 9.3)磁盘坏块导致几张表上的VACUUM FREEZE执行失败。 无法回收老旧事务ID,导致整库事务ID濒临用尽,数据库进入自我保护状态不可用。 磁盘坏块导致手工VACUUM抢救不可行。 提升从库后,需要紧急VACUUM FREEZE才能继续服务,进一步延长了故障时间。 主库进入保护状态后提交日志(clog)没有及时复制到从库,从库产生存疑事务拒绝服务。 摘要 这是一个即将下线老旧库,疏于管理。坏块征兆在一周前就已经出现,没有及 …
学习知识的几个层次

微信公众号原文 知识的层次 当我们说“学习知识”时,究竟说的什么? 当我们说一个人“聪明”时,指的又到底是什么? 通过观察思辨,我们把脑内认识深化过程从接受知识开始到最高的“悟性”层次可以分成四个阶段:知识,理解,意识,悟性。整个认识的函数图景整体上是连续单调递增的,但在理解与意识的阶段之间存在一个跃迁。那么让我们来明确一下,这四个词到底意味着什么。 第一层次:知识 简而言之,知识就是脑内存储的正确信息,换言之,脑内存储的一切正确信息都叫做知识,因此知识一词是很广泛的术语。所谓“正确”信息,即 …
微信公众号原文 知识的层次 当我们说“学习知识”时,究竟说的什么? 当我们说一个人“聪明”时,指的又到底是什么? 通过观察思辨,我们把脑内认识深化过程从接受知识开始到最高的“悟性”层次可以分成四个阶段:知识,理解,意识,悟性。整个认识的函数图景整体上是连续单调递增的,但在理解与意识的阶段之间存在一个跃迁。那么让我们来明确一下,这四个词到底意味着什么。 第一层次:知识 简而言之,知识就是脑内存储的正确信息,换言之,脑内存储的一切正确信息都叫做知识,因此知识一词是很广泛的术语。所谓“正确”信息,即 …
PostgreSQL的触发器使用注意事项

概览 触发器行为概述 触发器的分类 触发器的功能 触发器的种类 触发器的触发 触发器的创建 触发器的修改 触发器的查询 触发器的性能 触发器概述 触发器行为概述:英文,中文 触发器分类 触发时机:BEFORE, AFTER, INSTEAD 触发事件:INSERT, UPDATE, DELETE,TRUNCATE 触发范围:语句级,行级 内部创建:用于约束的触发器,用户定义的触发器 触发模式:origin|local(O), replica(R),disable(D) 触发器操作 触发器的操作通 …
概览 触发器行为概述 触发器的分类 触发器的功能 触发器的种类 触发器的触发 触发器的创建 触发器的修改 触发器的查询 触发器的性能 触发器概述 触发器行为概述:英文,中文 触发器分类 触发时机:BEFORE, AFTER, INSTEAD 触发事件:INSERT, UPDATE, DELETE,TRUNCATE 触发范围:语句级,行级 内部创建:用于约束的触发器,用户定义的触发器 触发模式:origin|local(O), replica(R),disable(D) 触发器操作 触发器的操作通 …
GeoIP 地理逆查询优化

IP归属地查询的高效实现 在应用开发中,一个‘很常见’的需求就是GeoIP转换。将请求的来源IP转换为相应的地理坐标,或者行政区划(国家-省-市-县-乡-镇)。这种功能有很多用途,譬如分析网站流量的地理来源,或者干一些坏事。使用PostgreSQL可以多快好省,优雅高效地实现这一需求。 0x01 思路方法 通常网上的IP地理数据库的形式都是:start_ip, stop_ip , longitude, latitude,再缀上一些国家代码,城市代码,邮编之类的属性字段。大概长这样: …
IP归属地查询的高效实现 在应用开发中,一个‘很常见’的需求就是GeoIP转换。将请求的来源IP转换为相应的地理坐标,或者行政区划(国家-省-市-县-乡-镇)。这种功能有很多用途,譬如分析网站流量的地理来源,或者干一些坏事。使用PostgreSQL可以多快好省,优雅高效地实现这一需求。 0x01 思路方法 通常网上的IP地理数据库的形式都是:start_ip, stop_ip , longitude, latitude,再缀上一些国家代码,城市代码,邮编之类的属性字段。大概长这样: …
理解字符编码原理

程序员,是与 Code(代码/编码) 打交道的,而字符编码又是最为基础的编码。 如何 使用二进制数来表示字符,这个 字符编码 问题并没有看上去那么简单,实际上它的复杂程度远超一般人的想象:输入、比较排序与搜索、反转、换行与分词、大小写、区域设置,控制字符,组合字符与规范化,排序规则,处理不同语言中的特异需求,变长编码,字节序与BOM,Surrogate,历史兼容性,正则表达式兼容性,微妙与严重的安全问题等等等等。 如果不了解字符编码的基本原理,即使只是简单常规的字符串比较、排序、随机访问操作,都 …
程序员,是与 Code(代码/编码) 打交道的,而字符编码又是最为基础的编码。 如何 使用二进制数来表示字符,这个 字符编码 问题并没有看上去那么简单,实际上它的复杂程度远超一般人的想象:输入、比较排序与搜索、反转、换行与分词、大小写、区域设置,控制字符,组合字符与规范化,排序规则,处理不同语言中的特异需求,变长编码,字节序与BOM,Surrogate,历史兼容性,正则表达式兼容性,微妙与严重的安全问题等等等等。 如果不了解字符编码的基本原理,即使只是简单常规的字符串比较、排序、随机访问操作,都 …
理解字符编码

微信公众号原文 程序员,是与 Code(代码/编码) 打交道的,而字符编码又是最为基础的编码。如何 使用二进制数来表示字符,这个 字符编码 问题并没有看上去那么简单,实际上它的复杂程度远超一般人的想象:输入、比较排序与搜索、反转、换行与分词、大小写、区域设置,控制字符,组合字符与规范化,排序规则,处理不同语言中的特异需求,变长编码,字节序与BOM,Surrogate,历史兼容性,正则表达式兼容性,微妙与严重的安全问题等等等等。 如果不了解字符编码的基本原理,即使只是简单常规的字符串比较、排序、 …
微信公众号原文 程序员,是与 Code(代码/编码) 打交道的,而字符编码又是最为基础的编码。如何 使用二进制数来表示字符,这个 字符编码 问题并没有看上去那么简单,实际上它的复杂程度远超一般人的想象:输入、比较排序与搜索、反转、换行与分词、大小写、区域设置,控制字符,组合字符与规范化,排序规则,处理不同语言中的特异需求,变长编码,字节序与BOM,Surrogate,历史兼容性,正则表达式兼容性,微妙与严重的安全问题等等等等。 如果不了解字符编码的基本原理,即使只是简单常规的字符串比较、排序、 …
PostgreSQL开发规约(2018版)

微信公众号原文 0x00背景 没有规矩,不成方圆。 PostgreSQL的功能非常强大,但是要把PostgreSQL用好,需要后端、运维、DBA的协力配合。 本文针对PostgreSQL数据库原理与特性,整理了一份开发规范,希望可以减少大家在使用PostgreSQL数据库过程中遇到的困惑。你好我也好,大家都好。 0x01 命名规范 无名,万物之始,有名,万物之母。 【强制】 通用命名规则 本规则适用于所有对象名,包括:库名、表名、表名、列名、函数名、视图名、序列号名、别名等。 对象名务必只使用 …
微信公众号原文 0x00背景 没有规矩,不成方圆。 PostgreSQL的功能非常强大,但是要把PostgreSQL用好,需要后端、运维、DBA的协力配合。 本文针对PostgreSQL数据库原理与特性,整理了一份开发规范,希望可以减少大家在使用PostgreSQL数据库过程中遇到的困惑。你好我也好,大家都好。 0x01 命名规范 无名,万物之始,有名,万物之母。 【强制】 通用命名规则 本规则适用于所有对象名,包括:库名、表名、表名、列名、函数名、视图名、序列号名、别名等。 对象名务必只使用 …
并发异常那些事

并发程序很难写对,更难写好。很多程序员也没有真正弄清楚这些问题,不过是一股脑地把这些问题丢给数据库而已。并发异常并不仅仅是一个理论问题:这些异常曾经造成过很多资金损失,耗费过大量财务审计人员的心血。但即使是最流行、最强大的关系型数据库(通常被认为是“ACID”数据库),也会使用弱隔离级别,所以它们也不一定能防止这些并发异常的发生。 比起盲目地依赖工具,我们应该对存在的并发问题的种类,以及如何防止这些问题有深入的理解。 本文将阐述SQL92标准中定义的隔离级别及其缺陷,现代模型中的隔离级别与定义这 …
并发程序很难写对,更难写好。很多程序员也没有真正弄清楚这些问题,不过是一股脑地把这些问题丢给数据库而已。并发异常并不仅仅是一个理论问题:这些异常曾经造成过很多资金损失,耗费过大量财务审计人员的心血。但即使是最流行、最强大的关系型数据库(通常被认为是“ACID”数据库),也会使用弱隔离级别,所以它们也不一定能防止这些并发异常的发生。 比起盲目地依赖工具,我们应该对存在的并发问题的种类,以及如何防止这些问题有深入的理解。 本文将阐述SQL92标准中定义的隔离级别及其缺陷,现代模型中的隔离级别与定义这 …
PostgreSQL好处都有啥

PostgreSQL的Slogan是“世界上最先进的开源关系型数据库”,但我觉得这口号不够响亮,而且一看就是在怼MySQL那个“世界上最流行的开源关系型数据库”的口号,有碰瓷之嫌。要我说最能生动体现PG特色的口号应该是:一专多长的全栈数据库,一招鲜吃遍天嘛。 全栈数据库 成熟的应用可能会用到许许多多的数据组件(功能):缓存,OLTP,OLAP/批处理/数据仓库,流处理/消息队列,搜索索引,NoSQL/文档数据库,地理数据库,空间数据库,时序数据库,图数据库。传统的架构选型呢,可能会组合使用多种组 …
PostgreSQL的Slogan是“世界上最先进的开源关系型数据库”,但我觉得这口号不够响亮,而且一看就是在怼MySQL那个“世界上最流行的开源关系型数据库”的口号,有碰瓷之嫌。要我说最能生动体现PG特色的口号应该是:一专多长的全栈数据库,一招鲜吃遍天嘛。 全栈数据库 成熟的应用可能会用到许许多多的数据组件(功能):缓存,OLTP,OLAP/批处理/数据仓库,流处理/消息队列,搜索索引,NoSQL/文档数据库,地理数据库,空间数据库,时序数据库,图数据库。传统的架构选型呢,可能会组合使用多种组 …





