专栏导览
按领域划分的六个长青专栏,均提供独立的 RSS 订阅源。

黄金监控指标:错误延迟吞吐饱和
了解PostgreSQL中的黄金监控指标:错误、延迟、吞吐和饱和度。

Pigsty v0.3:首个公开测试版
Pigsty v0.3.0 第一个公开的试用版本现已释出!包含 8 个监控面板以及离线软件安装包。

Paradise Found:乌孙古道
今年十一走了乌孙古道,翻过了天山,越过那伊犁。虽一周有余,仍回味不已,撰文以记之。

西行漫记3 河西走廊
大戈壁的血色落日,沙漠绿洲的清冽夜空,弱水河畔的金胡杨,祁连山阴的绿草场。这些是故乡给我留下的最美好的印象

西行漫记番外1 大洪水
番外篇:关于大洪水的所见所闻所思所感

西行漫记2 关陇随笔
从西安出发,沿丝绸之路西行,第一站就是宝鸡

西行漫记1 长安古意
今天恰好是踏上旅程的一周年,选这一天发第一篇游记,很有仪式感。

数据库集群管理概念与实体命名规范
概念及其命名是非常重要的东西,命名风格体现了工程师对系统架构的认知。定义不清的概念将导致沟通困惑,随意设定的名称将产生意想不到的额外负担。

PostgreSQL监控系统Pigsty概述
近自己做了套数据库监控系统,搞的还可以,简单给大家介绍一下。

PostgreSQL的KPI
管数据库和管人差不多,都需要定KPI。本文介绍了一种衡量PostgreSQL负载的方式:使用一种单一横向可比的指标,名曰PG Load(PG负载)。

简明实用密码学
密码学里有一个经典的问题,就是如何在不安全的信道中安全可靠地传输数据。避免自己的聊天与通信遭到偷窥,监控与河蟹。只要你手头有电脑,就可以轻易做到这一点。

西行漫记 —— 序章
西行漫记 —— 跨过高山大海,穿过人山人海,踏破丝绸之路,溯源黄河长江。

撸一下官方疫情数据
形势不是一片小好,是一片大好。

在线修改PG字段类型
如何在线修改PostgreSQL中的字段类型?一种通用方法。

事务隔离等级注意事项
PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited)与可序列化(Serializable)。

前后端通信线缆协议
了解PostgreSQL服务器与客户端通信使用的TCP协议,并使用Go语言打印消息。

故障档案:PG安装Extension导致无法连接
今天遇到一个比较有趣的Case,客户报告说数据库连不上了,发现是扩展导致的。

CDC 变更数据捕获机理
数据变更捕获是一种很有趣的ETL替代方案,以流式的方式持续收集状态变化事件。

PostgreSQL中的锁
详细介绍PostgreSQL中的各种锁:表级锁、行级锁、页级锁、咨询锁等。

GIN搜索的O(n²)复杂度
GIN索引如果使用很长的关键词列表进行搜索,会导致性能显著下降。本文解释了为什么GIN索引关键词搜索的时间复杂度为O(n²)。

山巅之城:加州自驾
自驾一周,库比蒂诺,洛杉矶,旧金山,优胜美地

PostgreSQL 常见复制拓扑方案
复制是系统架构中的核心问题之一。

温备:使用pg_receivewal
备份有各种各样的策略,物理备份通常可以分为四种。

容器化数据库是个好主意吗?
生产环境的数据库是否应当放入容器中,仍然是一个充满争议的问题。站在开发者角度我喜欢Docker,但站在DBA立场上,我认为就目前而言,将生产环境数据库放入Docker/K8S中仍然是一个馊主意。

黄金监控指标:错误延迟吞吐饱和
了解PostgreSQL中的黄金监控指标:错误、延迟、吞吐和饱和度。

Pigsty v0.3:首个公开测试版
Pigsty v0.3.0 第一个公开的试用版本现已释出!包含 8 个监控面板以及离线软件安装包。

Paradise Found:乌孙古道
今年十一走了乌孙古道,翻过了天山,越过那伊犁。虽一周有余,仍回味不已,撰文以记之。

西行漫记3 河西走廊
大戈壁的血色落日,沙漠绿洲的清冽夜空,弱水河畔的金胡杨,祁连山阴的绿草场。这些是故乡给我留下的最美好的印象

西行漫记番外1 大洪水
番外篇:关于大洪水的所见所闻所思所感

西行漫记2 关陇随笔
从西安出发,沿丝绸之路西行,第一站就是宝鸡

西行漫记1 长安古意
今天恰好是踏上旅程的一周年,选这一天发第一篇游记,很有仪式感。

数据库集群管理概念与实体命名规范
概念及其命名是非常重要的东西,命名风格体现了工程师对系统架构的认知。定义不清的概念将导致沟通困惑,随意设定的名称将产生意想不到的额外负担。

PostgreSQL监控系统Pigsty概述
近自己做了套数据库监控系统,搞的还可以,简单给大家介绍一下。

PostgreSQL的KPI
管数据库和管人差不多,都需要定KPI。本文介绍了一种衡量PostgreSQL负载的方式:使用一种单一横向可比的指标,名曰PG Load(PG负载)。

简明实用密码学
密码学里有一个经典的问题,就是如何在不安全的信道中安全可靠地传输数据。避免自己的聊天与通信遭到偷窥,监控与河蟹。只要你手头有电脑,就可以轻易做到这一点。

西行漫记 —— 序章
西行漫记 —— 跨过高山大海,穿过人山人海,踏破丝绸之路,溯源黄河长江。

撸一下官方疫情数据
形势不是一片小好,是一片大好。

在线修改PG字段类型
如何在线修改PostgreSQL中的字段类型?一种通用方法。

事务隔离等级注意事项
PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited)与可序列化(Serializable)。

前后端通信线缆协议
了解PostgreSQL服务器与客户端通信使用的TCP协议,并使用Go语言打印消息。

故障档案:PG安装Extension导致无法连接
今天遇到一个比较有趣的Case,客户报告说数据库连不上了,发现是扩展导致的。

CDC 变更数据捕获机理
数据变更捕获是一种很有趣的ETL替代方案,以流式的方式持续收集状态变化事件。

PostgreSQL中的锁
详细介绍PostgreSQL中的各种锁:表级锁、行级锁、页级锁、咨询锁等。

GIN搜索的O(n²)复杂度
GIN索引如果使用很长的关键词列表进行搜索,会导致性能显著下降。本文解释了为什么GIN索引关键词搜索的时间复杂度为O(n²)。

山巅之城:加州自驾
自驾一周,库比蒂诺,洛杉矶,旧金山,优胜美地

PostgreSQL 常见复制拓扑方案
复制是系统架构中的核心问题之一。

温备:使用pg_receivewal
备份有各种各样的策略,物理备份通常可以分为四种。

容器化数据库是个好主意吗?
生产环境的数据库是否应当放入容器中,仍然是一个充满争议的问题。站在开发者角度我喜欢Docker,但站在DBA立场上,我认为就目前而言,将生产环境数据库放入Docker/K8S中仍然是一个馊主意。
黄金监控指标:错误延迟吞吐饱和

前言 玩数据库和玩车有一个共通之处,就是都需要经常看仪表盘。 盯着仪表盘干什么,看指标。为什么看指标,掌握当前运行状态才能有效施加控制。 车有很多指标:车速,胎压,扭矩,刹车片磨损,各种温度,等等等等,各式各样。 但人的注意力空间有限,仪表盘也就那么大, 所以,指标可以分两类: 你会去看的:黄金指标 / 关键指标 / 核心指标 你不会看的:黑匣子指标 / 冷指标。 黄金指标就是那几个关键性的核心数据,需要时刻保持关注(或者让自动驾驶系统/报警系统替你时刻保持关注),而冷指标通常只有故障排查时才会 …
前言 玩数据库和玩车有一个共通之处,就是都需要经常看仪表盘。 盯着仪表盘干什么,看指标。为什么看指标,掌握当前运行状态才能有效施加控制。 车有很多指标:车速,胎压,扭矩,刹车片磨损,各种温度,等等等等,各式各样。 但人的注意力空间有限,仪表盘也就那么大, 所以,指标可以分两类: 你会去看的:黄金指标 / 关键指标 / 核心指标 你不会看的:黑匣子指标 / 冷指标。 黄金指标就是那几个关键性的核心数据,需要时刻保持关注(或者让自动驾驶系统/报警系统替你时刻保持关注),而冷指标通常只有故障排查时才会 …
Pigsty v0.3:首个公开测试版

GitHub Release | 发布注记 v0.3.0 首个Pigsty公开测试版本现在已经释出! 监控系统 Pigsty v0.3 包含以下8个监控面板作为开源内容: PG Overview PG Cluster PG Service PG Instance PG Database PG Table Overview PG Table Catalog Node 离线安装包 v0.3 离线安装包(CentOS 7.8)已经可以从Github下载:pkg.tgz
GitHub Release | 发布注记 v0.3.0 首个Pigsty公开测试版本现在已经释出! 监控系统 Pigsty v0.3 包含以下8个监控面板作为开源内容: PG Overview PG Cluster PG Service PG Instance PG Database PG Table Overview PG Table Catalog Node 离线安装包 v0.3 离线安装包(CentOS 7.8)已经可以从Github下载:pkg.tgz
Paradise Found:乌孙古道

今年十一走了乌孙古道,翻过了天山,越过那伊犁。虽一周有余,仍回味不已,撰文以记之。 TL;DR 太长不看 视频请参考微信公众号原文,就别折腾我这小水管了。 概览 乌孙,夏特,狼塔,是新疆天山里最知名的三条徒步线路。乌孙古道横跨天山,沟通南北疆,据说是是三条徒步线路中最美的一条。 去年自驾游时,我曾花了一个多月在新疆玩,印象最深刻的莫过于独库公路的美景。同为翻越天山的路,乌孙古道可以说是古时候的独库公路,离现在的独库公路也相去不远,所以它的景色肯定不会令我失望,唯一需要担心的就是能不能走下来了。 …
今年十一走了乌孙古道,翻过了天山,越过那伊犁。虽一周有余,仍回味不已,撰文以记之。 TL;DR 太长不看 视频请参考微信公众号原文,就别折腾我这小水管了。 概览 乌孙,夏特,狼塔,是新疆天山里最知名的三条徒步线路。乌孙古道横跨天山,沟通南北疆,据说是是三条徒步线路中最美的一条。 去年自驾游时,我曾花了一个多月在新疆玩,印象最深刻的莫过于独库公路的美景。同为翻越天山的路,乌孙古道可以说是古时候的独库公路,离现在的独库公路也相去不远,所以它的景色肯定不会令我失望,唯一需要担心的就是能不能走下来了。 …
西行漫记3 河西走廊

旅途的下一站,就是河西走廊,也是我的故乡,我人生最初的十二年就在这里度过。 大戈壁的血色落日,沙漠绿洲的清冽夜空,弱水河畔的金胡杨,祁连山阴的绿草场。这些是故乡给我留下的最美好的印象。 《秋牧》 《火凤凰》,有几张照片不是我拍的,但盗亲爹的图算盗图吗? 可惜在那十二年间,我的活动范围也仅局限于酒泉卫星发射中心周边 —— 酒泉市区,嘉峪关,额济纳旗,去敦煌和居延海玩就已经算出远门了。对河西走廊的其他地方也并不熟悉,因此这次必须得弥补遗憾,好好去看一下河西走廊的其他地方。 《激情燃烧》 —— 胡杨生 …
旅途的下一站,就是河西走廊,也是我的故乡,我人生最初的十二年就在这里度过。 大戈壁的血色落日,沙漠绿洲的清冽夜空,弱水河畔的金胡杨,祁连山阴的绿草场。这些是故乡给我留下的最美好的印象。 《秋牧》 《火凤凰》,有几张照片不是我拍的,但盗亲爹的图算盗图吗? 可惜在那十二年间,我的活动范围也仅局限于酒泉卫星发射中心周边 —— 酒泉市区,嘉峪关,额济纳旗,去敦煌和居延海玩就已经算出远门了。对河西走廊的其他地方也并不熟悉,因此这次必须得弥补遗憾,好好去看一下河西走廊的其他地方。 《激情燃烧》 —— 胡杨生 …
西行漫记番外1 大洪水

夏日消融,江河横溢,人或为鱼鳖 —— 《念奴娇·昆仑》 去年的这几天我在兰州小憩,兰州虽然是甘肃的省会,但不能算作河西走廊,所以这几天没什么压力,可以聊一些别的话题,比如大洪水。最近到处都是洪水的新闻,有些地方水位都达到了历史峰值。不过对我来说,其实在去年就已经被剧透过了。 这图不是我的,随便网上扣了一张鄱阳湖的新闻图。 在整个西北游历的过程中,一个非常深刻的感受就是,气候真的发生了巨大的变化。去年在路上看到各种反常现象,听到不少消息,知道今年会有大洪水,三月份水利部也发警告算是官宣确认了。 以 …
夏日消融,江河横溢,人或为鱼鳖 —— 《念奴娇·昆仑》 去年的这几天我在兰州小憩,兰州虽然是甘肃的省会,但不能算作河西走廊,所以这几天没什么压力,可以聊一些别的话题,比如大洪水。最近到处都是洪水的新闻,有些地方水位都达到了历史峰值。不过对我来说,其实在去年就已经被剧透过了。 这图不是我的,随便网上扣了一张鄱阳湖的新闻图。 在整个西北游历的过程中,一个非常深刻的感受就是,气候真的发生了巨大的变化。去年在路上看到各种反常现象,听到不少消息,知道今年会有大洪水,三月份水利部也发警告算是官宣确认了。 以 …
西行漫记2 关陇随笔

从西安出发,沿丝绸之路西行,第一站就是宝鸡。 宝鸡这个地名虽然很有特色,但它古时候的名字——陈仓,也许要比当代的地名知名度高得多,就是那个“暗度陈仓”的陈仓。 宝鸡的曾用名包括:岐山,雍州,扶风郡,岐州,凤翔府;如今下辖的几个区县:渭滨区、金台区、陈仓区,凤翔县、岐山县、扶风县、眉县、陇县、千阳县、麟游县、凤县、太白县。都透露出一种古典的华夏审美,唯独宝鸡这个名字独树一帜,略带滑稽感。 图为从西安的方向俯瞰宝鸡,左侧山脉为龙脉秦岭,南北方分界线。绿色山峰标识即最高峰太白山。 不过宝鸡这个名字倒也 …
从西安出发,沿丝绸之路西行,第一站就是宝鸡。 宝鸡这个地名虽然很有特色,但它古时候的名字——陈仓,也许要比当代的地名知名度高得多,就是那个“暗度陈仓”的陈仓。 宝鸡的曾用名包括:岐山,雍州,扶风郡,岐州,凤翔府;如今下辖的几个区县:渭滨区、金台区、陈仓区,凤翔县、岐山县、扶风县、眉县、陇县、千阳县、麟游县、凤县、太白县。都透露出一种古典的华夏审美,唯独宝鸡这个名字独树一帜,略带滑稽感。 图为从西安的方向俯瞰宝鸡,左侧山脉为龙脉秦岭,南北方分界线。绿色山峰标识即最高峰太白山。 不过宝鸡这个名字倒也 …
西行漫记1 长安古意

引子 本来计划了四十篇游记,但一直以来都在忙其他事情,没有时间补上。但今天恰好是踏上旅程的一周年,相当有纪念意义。选这一天发游记,很有仪式感。我可以假装现在正好是一年前,按照同样的日期把所见所闻所思所感发出来。这样为了保持和实际行程同步,我就有理由 Push 一下自己,不要再拖延了。不过游记嘛,也不是什么正经文章,就是吐吐槽扯扯淡随便写写,不用给自己太大压力。 说起这趟旅程,基本上属于半临时起意,机票和目的地都是出发前一天临时决定的。本来只是想花几周随便逛逛,但不知不觉就变成了三个月的游历。游历 …
引子 本来计划了四十篇游记,但一直以来都在忙其他事情,没有时间补上。但今天恰好是踏上旅程的一周年,相当有纪念意义。选这一天发游记,很有仪式感。我可以假装现在正好是一年前,按照同样的日期把所见所闻所思所感发出来。这样为了保持和实际行程同步,我就有理由 Push 一下自己,不要再拖延了。不过游记嘛,也不是什么正经文章,就是吐吐槽扯扯淡随便写写,不用给自己太大压力。 说起这趟旅程,基本上属于半临时起意,机票和目的地都是出发前一天临时决定的。本来只是想花几周随便逛逛,但不知不觉就变成了三个月的游历。游历 …
数据库集群管理概念与实体命名规范

名之则可言也,言之则可行也。 概念及其命名是非常重要的东西,命名风格体现了工程师对系统架构的认知。定义不清的概念将导致沟通困惑,随意设定的名称将产生意想不到的额外负担。因此需要审慎地设计。 TL;DR 集群(Cluster) 是基本自治单元,由用户指定唯一标识,表达业务含义,作为顶层命名空间。 集群在硬件层面上包含一系列的 节点(Node),即物理机,虚机(或Pod),可以通过IP唯一标识。 集群在软件层面上包含一系列的 实例(Instance),即软件服务器,可以通过IP:Port唯一标识。 …
名之则可言也,言之则可行也。 概念及其命名是非常重要的东西,命名风格体现了工程师对系统架构的认知。定义不清的概念将导致沟通困惑,随意设定的名称将产生意想不到的额外负担。因此需要审慎地设计。 TL;DR 集群(Cluster) 是基本自治单元,由用户指定唯一标识,表达业务含义,作为顶层命名空间。 集群在硬件层面上包含一系列的 节点(Node),即物理机,虚机(或Pod),可以通过IP唯一标识。 集群在软件层面上包含一系列的 实例(Instance),即软件服务器,可以通过IP:Port唯一标识。 …
PostgreSQL监控系统Pigsty概述

近自己做了套数据库监控系统,搞的还可以,简单给大家介绍一下。 Pigsty is an advanced PostgreSQL monitoring systemd based on open source projects like prometheus & grafana. PIGSTY /pɪɡ staɪ/ is the abbreviation of “Postgres in Grafana Style”. Pigsty 是一个基于 Grafana 与 Prometheus 与 …
近自己做了套数据库监控系统,搞的还可以,简单给大家介绍一下。 Pigsty is an advanced PostgreSQL monitoring systemd based on open source projects like prometheus & grafana. PIGSTY /pɪɡ staɪ/ is the abbreviation of “Postgres in Grafana Style”. Pigsty 是一个基于 Grafana 与 Prometheus 与 …
PostgreSQL的KPI

管数据库和管人差不多,都需要定KPI(关键性能指标)。那么数据库的KPI是什么?本文介绍了一种衡量PostgreSQL负载的方式:使用一种单一横向可比,与负载类型和机器类型基本无关的指标,名曰 PG Load(PG负载)。 0x01 Introduction 在现实生产中,经常会有衡量数据库性能与负载,评估数据库水位的需求。一种最朴素的形式就是,能不能有一个类似于KPI的单一指标,能直接了当地告诉用户他心爱的数据库负载有没有超过警戒线?工作量到底饱和不饱和? 当然这里其实隐含着一个重要信息,即用 …
管数据库和管人差不多,都需要定KPI(关键性能指标)。那么数据库的KPI是什么?本文介绍了一种衡量PostgreSQL负载的方式:使用一种单一横向可比,与负载类型和机器类型基本无关的指标,名曰 PG Load(PG负载)。 0x01 Introduction 在现实生产中,经常会有衡量数据库性能与负载,评估数据库水位的需求。一种最朴素的形式就是,能不能有一个类似于KPI的单一指标,能直接了当地告诉用户他心爱的数据库负载有没有超过警戒线?工作量到底饱和不饱和? 当然这里其实隐含着一个重要信息,即用 …
简明实用密码学

微信公众号原文 密码学里有一个经典的问题,就是如何在不安全的信道中安全可靠地传输数据。避免自己的聊天与通信遭到偷窥,监控与河蟹。只要你手头有电脑,就可以轻易做到这一点。 问题1 现假设有两个用户翠花(Alice)与老王(Bob),正在使用偷窥狂马大帅(Oscar)家的垄断聊天软件宏信(MarcoMessage)讨论私密的事情。譬如: 老王 -------> 约吗 ---------> 翠花 老王 <------- 约!<--------- 翠花 消息被马大帅偷看去了,很不好,所以两人事先约定好 …
微信公众号原文 密码学里有一个经典的问题,就是如何在不安全的信道中安全可靠地传输数据。避免自己的聊天与通信遭到偷窥,监控与河蟹。只要你手头有电脑,就可以轻易做到这一点。 问题1 现假设有两个用户翠花(Alice)与老王(Bob),正在使用偷窥狂马大帅(Oscar)家的垄断聊天软件宏信(MarcoMessage)讨论私密的事情。譬如: 老王 -------> 约吗 ---------> 翠花 老王 <------- 约!<--------- 翠花 消息被马大帅偷看去了,很不好,所以两人事先约定好 …
西行漫记 —— 序章

隔离在家中,翻看起去年游历华夏的照片来,突然有了记录的冲动,那么,也是时候补上这篇游记了。 动机 有人说,好的孩子需要什么样的教育呢?就是需要在 16 岁以后,在人生进入渴望冒险的阶段以后,拿到一笔钱,闭上眼睛让他们到世界各地去闯荡,各种冒险,包括被人打断腿、鼻青脸肿、所有钱都毁了。切忌有一个老管家不停地指挥他,这笔钱应该怎么怎么花,应该怎么怎么花。让他闯荡回来,包括鼻青脸肿回来以后,他的能力会比坐在家里读死书的人要好得多。 我未来的子孙可能有这样机会,但我自己却十分遗憾的,尽管一直期望着有这么 …
隔离在家中,翻看起去年游历华夏的照片来,突然有了记录的冲动,那么,也是时候补上这篇游记了。 动机 有人说,好的孩子需要什么样的教育呢?就是需要在 16 岁以后,在人生进入渴望冒险的阶段以后,拿到一笔钱,闭上眼睛让他们到世界各地去闯荡,各种冒险,包括被人打断腿、鼻青脸肿、所有钱都毁了。切忌有一个老管家不停地指挥他,这笔钱应该怎么怎么花,应该怎么怎么花。让他闯荡回来,包括鼻青脸肿回来以后,他的能力会比坐在家里读死书的人要好得多。 我未来的子孙可能有这样机会,但我自己却十分遗憾的,尽管一直期望着有这么 …
撸一下官方疫情数据

最近疫情成了关注焦点,各类消息此起彼伏,传言漫天飞舞。如果每天看到的都是各种死亡的案例与绝望的求救,真的很容易有种世界末日来临的感觉,陷入恐慌绝望中。数据有助于认知真相,起码能够帮助人们形成正确的比例感(当然前提是数据真实)。比较遗憾的是各个疫情地图站点都没有提供市/区级别历史数据查询的接口,所以我特意把鹅厂公布的疫情数字撸下来归档并简单分析了一下。 TL;DR:湖北省内省外冰火两重天 全国概览 截止至 2 月 12 号凌晨,根据腾讯(卫健委)数据,全国累计确诊 42714 人,疑似 21675 …
最近疫情成了关注焦点,各类消息此起彼伏,传言漫天飞舞。如果每天看到的都是各种死亡的案例与绝望的求救,真的很容易有种世界末日来临的感觉,陷入恐慌绝望中。数据有助于认知真相,起码能够帮助人们形成正确的比例感(当然前提是数据真实)。比较遗憾的是各个疫情地图站点都没有提供市/区级别历史数据查询的接口,所以我特意把鹅厂公布的疫情数字撸下来归档并简单分析了一下。 TL;DR:湖北省内省外冰火两重天 全国概览 截止至 2 月 12 号凌晨,根据腾讯(卫健委)数据,全国累计确诊 42714 人,疑似 21675 …
在线修改PG字段类型

场景 在数据库的生命周期中,有一类需求是很常见的,修改字段类型。例如: 使用 INT 作为主键,结果发现业务红红火火,INT32的21亿序号不够用了,想要升级为 BIGINT 使用 BIGINT 存身份证号,结果发现里面有个 X 需要改为 TEXT 类型。 使用 FLOAT 存放货币,发现精度丢失,想要修改为Decimal 使用 TEXT 存储JSON字段,想用到PostgreSQL的JSON特性,修改为JSONB类型。 那么,如何应对这种需求呢? 常规操作 通常来说,ALTER TABLE 可 …
场景 在数据库的生命周期中,有一类需求是很常见的,修改字段类型。例如: 使用 INT 作为主键,结果发现业务红红火火,INT32的21亿序号不够用了,想要升级为 BIGINT 使用 BIGINT 存身份证号,结果发现里面有个 X 需要改为 TEXT 类型。 使用 FLOAT 存放货币,发现精度丢失,想要修改为Decimal 使用 TEXT 存储JSON字段,想用到PostgreSQL的JSON特性,修改为JSONB类型。 那么,如何应对这种需求呢? 常规操作 通常来说,ALTER TABLE 可 …
事务隔离等级注意事项

PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited) 与 可序列化(Serializable) 基础 SQL标准定义了四种隔离级别,但PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited) 与 可序列化(Serializable) SQL标准定义了四种隔离级别,但实际上这也是很粗鄙的一种划分。详情请参考并发异常那些事。 查看/设置事务隔离等级 通过执行:SELECT …
PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited) 与 可序列化(Serializable) 基础 SQL标准定义了四种隔离级别,但PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited) 与 可序列化(Serializable) SQL标准定义了四种隔离级别,但实际上这也是很粗鄙的一种划分。详情请参考并发异常那些事。 查看/设置事务隔离等级 通过执行:SELECT …
前后端通信线缆协议

了解PostgreSQL服务器与客户端通信使用的TCP协议 启动阶段 启动阶段的基本流程如下所示: 客户端发送一条 StartupMessage (F) 向服务端发起连接请求 载荷包括 0x30000 的Int32版本号魔数,以及一系列kv结构的运行时参数(NULL0分割,必须参数为 user), 客户端等待服务端响应,主要是等待服务端发送的 ReadyForQuery (Z) 事件,该事件代表服务端已经准备好接收请求。 上面是连接建立过程中最主要的两个事件,其他事件包括包括认证消息 …
了解PostgreSQL服务器与客户端通信使用的TCP协议 启动阶段 启动阶段的基本流程如下所示: 客户端发送一条 StartupMessage (F) 向服务端发起连接请求 载荷包括 0x30000 的Int32版本号魔数,以及一系列kv结构的运行时参数(NULL0分割,必须参数为 user), 客户端等待服务端响应,主要是等待服务端发送的 ReadyForQuery (Z) 事件,该事件代表服务端已经准备好接收请求。 上面是连接建立过程中最主要的两个事件,其他事件包括包括认证消息 …
故障档案:PG安装Extension导致无法连接

今天遇到一个比较有趣的Case,客户报告说数据库连不上了。报这个错: psql: FATAL: could not load library "/export/servers/pgsql/lib/pg_hint_plan.so": /export/servers/pgsql/lib/pg_hint_plan.so: undefined symbol: RINFO_IS_PUSHED_DOWN 当然,这种错误一眼就知道是插件没编译好,报符号找不到。因此数据库后端进程在启动时尝试加载 …
今天遇到一个比较有趣的Case,客户报告说数据库连不上了。报这个错: psql: FATAL: could not load library "/export/servers/pgsql/lib/pg_hint_plan.so": /export/servers/pgsql/lib/pg_hint_plan.so: undefined symbol: RINFO_IS_PUSHED_DOWN 当然,这种错误一眼就知道是插件没编译好,报符号找不到。因此数据库后端进程在启动时尝试加载 …
CDC 变更数据捕获机理

在实际生产中,我们经常需要把数据库的状态同步到其他地方去,例如同步到数据仓库进行分析,同步到消息队列供下游消费,同步到缓存以加速查询。总的来说,搬运状态有两大类方法:ETL与CDC。 前驱知识 CDC与ETL 数据库在本质上是一个 状态集合,任何对数据库的 变更(增删改)本质上都是对状态的修改。 在实际生产中,我们经常需要把数据库的状态同步到其他地方去,例如同步到数据仓库进行分析,同步到消息队列供下游消费,同步到缓存以加速查询。总的来说,搬运状态有两大类方法:ETL与CDC。 …
在实际生产中,我们经常需要把数据库的状态同步到其他地方去,例如同步到数据仓库进行分析,同步到消息队列供下游消费,同步到缓存以加速查询。总的来说,搬运状态有两大类方法:ETL与CDC。 前驱知识 CDC与ETL 数据库在本质上是一个 状态集合,任何对数据库的 变更(增删改)本质上都是对状态的修改。 在实际生产中,我们经常需要把数据库的状态同步到其他地方去,例如同步到数据仓库进行分析,同步到消息队列供下游消费,同步到缓存以加速查询。总的来说,搬运状态有两大类方法:ETL与CDC。 …
PostgreSQL中的锁

PostgreSQL的并发控制以 快照隔离(SI) 为主,以 两阶段锁定(2PL) 机制为辅。PostgreSQL对DML(SELECT, UPDATE, INSERT, DELETE 等命令)使用SSI,对DDL(CREATE TABLE 等命令)使用2PL。 PostgreSQL有好几类锁,其中最主要的是 表级锁 与 行级锁,此外还有页级锁,咨询锁等,表级锁 通常是各种命令执行时自动获取的,或者通过事务中的 LOCK 语句显式获取;而行级锁则是由 SELECT FOR …
PostgreSQL的并发控制以 快照隔离(SI) 为主,以 两阶段锁定(2PL) 机制为辅。PostgreSQL对DML(SELECT, UPDATE, INSERT, DELETE 等命令)使用SSI,对DDL(CREATE TABLE 等命令)使用2PL。 PostgreSQL有好几类锁,其中最主要的是 表级锁 与 行级锁,此外还有页级锁,咨询锁等,表级锁 通常是各种命令执行时自动获取的,或者通过事务中的 LOCK 语句显式获取;而行级锁则是由 SELECT FOR …
GIN搜索的O(n²)复杂度

GIN索引如果使用很长的关键词列表进行搜索,会导致性能显著下降。本文解释了为什么GIN索引关键词搜索的时间复杂度为O(n^2) Here is the detail of why that query have O(N^2) inside GIN implementation. Details Inspect the index example_keys_idx postgres=# select oid,* from pg_class where relname = …
GIN索引如果使用很长的关键词列表进行搜索,会导致性能显著下降。本文解释了为什么GIN索引关键词搜索的时间复杂度为O(n^2) Here is the detail of why that query have O(N^2) inside GIN implementation. Details Inspect the index example_keys_idx postgres=# select oid,* from pg_class where relname = …
山巅之城:加州自驾

去米帝出了趟差,工作一周玩一周。自驾一号公路、湾区、洛杉矶、旧金山、优胜美地 托公司的福去美帝出了趟差,待了两个星期,工作一周玩一周。说起来除了去年公司年会去了趟日本,我还从来没出过国,特别是一个人去,还是有点发怵的。加上玩的行程是出发前临时决定的,一路上几乎都是动态规划模式。不过最后的效果倒是相当不错,多亏了当地老同学和老同事的帮助。 准备 工作的一周安排很满,直到上路开玩前两天,我才正式开始规划行程,因为一个最基本的问题还没有确定,到底是租车自驾,还是报个旅行社呢?毕竟第一次到异国他乡人生地 …
去米帝出了趟差,工作一周玩一周。自驾一号公路、湾区、洛杉矶、旧金山、优胜美地 托公司的福去美帝出了趟差,待了两个星期,工作一周玩一周。说起来除了去年公司年会去了趟日本,我还从来没出过国,特别是一个人去,还是有点发怵的。加上玩的行程是出发前临时决定的,一路上几乎都是动态规划模式。不过最后的效果倒是相当不错,多亏了当地老同学和老同事的帮助。 准备 工作的一周安排很满,直到上路开玩前两天,我才正式开始规划行程,因为一个最基本的问题还没有确定,到底是租车自驾,还是报个旅行社呢?毕竟第一次到异国他乡人生地 …
PostgreSQL 常见复制拓扑方案

复制是系统架构中的核心问题之一。 集群拓扑 假设我们使用4单元的标准配置:主库,同步从库,延迟备库,远程备库,分别用字母M,S,O,R标识。 M:Master, Main, Primary, Leader, 主库,权威数据源。 S: Slave, Secondary, Standby, Sync Replica,同步副本,需要直接挂载至主库 R: Remote Replica, Report instance,远程副本,可以挂载到主库或同步从库上 O: Offline,离线延迟备库,可以挂载到主 …
复制是系统架构中的核心问题之一。 集群拓扑 假设我们使用4单元的标准配置:主库,同步从库,延迟备库,远程备库,分别用字母M,S,O,R标识。 M:Master, Main, Primary, Leader, 主库,权威数据源。 S: Slave, Secondary, Standby, Sync Replica,同步副本,需要直接挂载至主库 R: Remote Replica, Report instance,远程副本,可以挂载到主库或同步从库上 O: Offline,离线延迟备库,可以挂载到主 …
温备:使用pg_receivewal

备份是DBA的安身立命之本,也是数据库管理中最为关键的工作之一。有各种各样的备份,但今天这里讨论的备份都是物理备份。物理备份通常可以分为以下四种: 热备(Hot Standby):与主库一模一样,当主库出现故障时会接管主库的工作,同时也会用于承接线上只读流量。 温备(Warm Standby):与热备类似,但不承载线上流量。通常数据库集群需要一个延迟备库,以便出现错误(例如误删数据)时能及时恢复。在这种情况下,因为延迟备库与主库内容不一致,因此不能服务线上查询。 冷备(Code Backup): …
备份是DBA的安身立命之本,也是数据库管理中最为关键的工作之一。有各种各样的备份,但今天这里讨论的备份都是物理备份。物理备份通常可以分为以下四种: 热备(Hot Standby):与主库一模一样,当主库出现故障时会接管主库的工作,同时也会用于承接线上只读流量。 温备(Warm Standby):与热备类似,但不承载线上流量。通常数据库集群需要一个延迟备库,以便出现错误(例如误删数据)时能及时恢复。在这种情况下,因为延迟备库与主库内容不一致,因此不能服务线上查询。 冷备(Code Backup): …
容器化数据库是个好主意吗?

前言:这篇文章是19年1月写的,四年过去了,涉及到数据库与容器的利弊权衡依然成立。这里进行细微调整后重新发出。明天我会发布一篇《数据库是否应当放入K8S中?》,那么今天就先用这篇老文来预热一下吧。 对于无状态的应用服务而言,容器是一个相当完美的开发运维解决方案。然而对于带持久状态的服务 —— 数据库来说,事情就没有那么简单了。生产环境的数据库 是否应当放入容器中,仍然是一个充满争议的问题。 站在开发者的角度上,我非常喜欢Docker,并相信容器也许是未来软件开发部署运维的标准方式。但站在DBA …
前言:这篇文章是19年1月写的,四年过去了,涉及到数据库与容器的利弊权衡依然成立。这里进行细微调整后重新发出。明天我会发布一篇《数据库是否应当放入K8S中?》,那么今天就先用这篇老文来预热一下吧。 对于无状态的应用服务而言,容器是一个相当完美的开发运维解决方案。然而对于带持久状态的服务 —— 数据库来说,事情就没有那么简单了。生产环境的数据库 是否应当放入容器中,仍然是一个充满争议的问题。 站在开发者的角度上,我非常喜欢Docker,并相信容器也许是未来软件开发部署运维的标准方式。但站在DBA …





