跳过正文

PostgreSQL大法师

专栏:Postgres大法师
·1188 字·3 分钟
PostgreSQL
关于 PostgreSQL 的开发,管理,原理,生态,工具,架构设计,性能优化,故障排查等方面的文章导航。
PostgreSQL主宰数据库世界,而谁来吞噬PG?
·5965 字·12 分钟
PostgreSQL PG生态
那些曾经让 MongoDB,MySQL 走向封闭的力量,如今也同样在 PostgreSQL 的生态中发挥作用,PG世界需要一个代表“软件自由”价值观的发行版。
PostgreSQL 已主宰数据库世界
·3038 字·7 分钟
PostgreSQL PG生态
2025 年的 SO 全球开发者调研结果新鲜出炉,PostgreSQL 连续第三年成为全球最流行,最受喜爱,需求量最高的数据库。已经没有什么力量能阻止 PostgreSQL 整合整个数据库世界了!
卡脖子:PGDG切断镜像站同步通道
·1362 字·3 分钟
PostgreSQL PG管理
PGDG 切断 FTP rsync 同步通道,全球镜像站普遍断连,这次还真是卡了一把全球用户的脖子。
Postgres Extension Day,咱们不见不散
·4015 字·9 分钟
PostgreSQL 扩展
一年一度的 PostgreSQL 开发者大会即将在五月于蒙特利尔举办。同上次第一届 PG Con.Dev 一样,这次也有一天的额外的专场活动 —— Postgres Extensions Day
OrioleDB 来了!4x性能,消除顽疾,存算分离
·2562 字·6 分钟
PostgreSQL
Supabase 收购的一个 PG 内核分支,号称解决了 PG XID 回卷的问题,没有表膨胀问题,性能提升4倍,还支持云原生存储,现已加入 Pigsty 全家桶。
OpenHalo:MySQL 线缆兼容的 PostgreSQL 来了!
·1260 字·3 分钟
PostgreSQL MySQL
什么?PostgreSQL 现在可以使用 MYSQL 客户端访问了?没有错,愚人节刚开源的 openHalo 就提供了这样的能力,现已加入 Pigsty 内核全家桶。
PGFS:将数据库作为文件系统
·2899 字·6 分钟
PostgreSQL JuiceFS
利用 JuiceFS,将 PostgreSQL 变为一个带 PITR 的文件系统!
PostgreSQL 生态前沿进展
·4024 字·9 分钟
PostgreSQL 生态
和大家分享一下最近 PG 生态有趣的一些进展。
小猪骑大象:PG内核与扩展包管理神器
·4723 字·10 分钟
PostgreSQL 工具
PostgreSQL 与 Pigsty 中长期缺失的一个包管理器 —— PIG
自建Supabase:创业出海的首选数据库
·9996 字·20 分钟
数据库 Supabase
Supabase 非常棒,拥有你自己的 Supabase 那就是棒上加棒!本文介绍了如何在本地/云端物理机/裸金属/虚拟机上自建企业级 Supabase。
不要更新!发布当日叫停:PG也躲不过大翻车
·3809 字·8 分钟
PostgreSQL
不要在星期五发布代码,否则你会多忙一整周!PG小版本发布当天,紧急回滚新发布的小版本。
PostgreSQL 12 过保,PG 17 上位
·3341 字·7 分钟
PostgreSQL
PG17使用PG16一半的时间实现扩展生态适配,300个可用扩展就绪,达到生产可用状态。PG 12正式脱离支持生命周期
PostgreSQL神功大成!最全扩展仓库来了!
·4258 字·9 分钟
PostgreSQL PG生态 扩展
PG扩展很多很强大,但如何安装并使用起来,一直都是社区的难题。现在有了Pigsty扩展仓库,390个强力插件开箱即用,有了这些扩展的加持,PG不能说在数据库里天下无敌,但也非常接近了。
PostgreSQL 规约(2024版)
·14179 字·29 分钟
PostgreSQL PG开发
没有规矩,不成方圆。本文是 22-24 年针对 PostgreSQL 15-17 大版本的更新,希望可以减少大家在使用与管理 PostgreSQL 数据库过程中遇到的困惑。
PostgreSQL 17 发布:摊牌了,我不装了!
·7045 字·15 分钟
PostgreSQL
现在PG是世界上最先进的开源数据库,已经是各种规模组织的首选开源数据库,与顶尖商业数据库旗鼓相当,甚至更胜一筹。
PostgreSQL可以替代微软SQL Server吗?
·1746 字·4 分钟
PostgreSQL PG生态 MSSQL
PostgreSQL 可以直接从内核层面替换掉 Oracle,SQL Server 与 MongoDB,当然,最彻底的还是 SQL Server,AWS 出品的 Babelfishpg 直接做到了线缆协议级兼容。
谁整合好DuckDB,谁赢得OLAP世界
·2869 字·6 分钟
PostgreSQL PG生态
正如两年前开展的向量数据库扩展插件赛马一样,当下 PG 生态进行的扩展竞赛已经开始围绕 DuckDB 进行,而MotherDuck官方亲自下场做PG扩展,毫无疑问标志着竞争进入白热化
StackOverflow 2024调研:PostgreSQL已经杀疯了
·1398 字·3 分钟
PostgreSQL PG生态
2024 年的 SO 全球开发者调研结果新鲜出炉,PostgreSQL 连续第二年成为全球最流行,最受喜爱,需求量最高的数据库。已经没有什么力量能阻止 PostgreSQL 吞噬整个数据库世界了!
使用Pigsty,PG,PGVector自建Dify -- AI工作流平台
·2692 字·6 分钟
PostgreSQL Docker PigstyApp
Dify 是一个生成式 AI 应用创新引擎,开源的 LLM 应用开发平台,本文介绍了如何使用 Pigsty 自建 Dify。
让PG停摆一周的大会:PGCon.Dev 2024 参会记
·9967 字·20 分钟
PostgreSQL PG生态
大会议程与主题分享,酒吧社交,自组织会议,PG仓库是如何维护的,社区参与度,一些中国特色问题。
PostgreSQL 17 beta1 发布!
·2874 字·6 分钟
PostgreSQL
PostgreSQL 全球开发组宣布,PostgreSQL 17 的首个 Beta 版本现已开放,这次 PG 真的是把牙膏管给挤爆啦!
为什么PostgreSQL是未来数据库的事实标准?
·6400 字·13 分钟
PostgreSQL PG生态
如今,软件开发中最大的趋势之一,是 PostgreSQL 正在成为事实上的数据库标准。已经有一些博客阐述了如何在所有的场景下都是用 PostgreSQL,但直到现在,还没有多少文章能解释这一现象背后的原因。(更重要的是,为什么这件事很重要)。
PostgreSQL会修改开源许可证吗?
·3743 字·8 分钟
PostgreSQL PG生态 开源
PostgreSQL 不会改变其许可证
PostgreSQL 正在吞噬数据库世界
·7058 字·15 分钟
PostgreSQL PG生态 扩展
PostgreSQL 并不是一个简单的关系型数据库,而是一个数据管理的抽象框架,具有吞噬整个数据库世界的力量。而这也是正在发生的事情 —— “一切皆用 Postgres” 已经不再是少数精英团队的前沿探索,而是成为了一种进入主流视野的最佳实践。
技术极简主义:一切皆用Postgres
·2159 字·5 分钟
PostgreSQL PG生态
生产环境的数据库是否应当放入容器中,仍然是一个充满争议的问题。站在DBA的立场上,我认为就目前而言,将生产环境数据库放入Docker中仍然是一个馊主意。
PG生态新玩家:ParadeDB
·1924 字·4 分钟
PostgreSQL PG生态 扩展
ParadeDB 旨在成为 Elasticsearch 的替代:Modern Elasticsearch Alternative built on Postgres —— 就是用于搜索和分析的 PostgreSQL。
令人惊叹的PostgreSQL可伸缩性
·4795 字·10 分钟
PostgreSQL 性能
本文讲述了 Cloudflare 是如何利用 15 个 PostgreSQL 集群,伸缩到支持每秒 5500 万个请求。以及 PostgreSQL 的可伸缩性表现。
PostgreSQL荣获2024年度数据库之王!(第五次)
·1586 字·4 分钟
PostgreSQL PG生态
DB-Engines 今日正式宣布PostgreSQL 再度加冕为“年度数据库”,最近七年里,这已经是PG第五次获得此荣誉头衔,要不是中间有两年被Snowflake抢了风头,数据库世界几乎都变成PG的独角秀场了。
展望 PostgreSQL 的2024
·7687 字·16 分钟
PostgreSQL PG生态
本文是 PostgreSQL 核心组成员 Jonathan Katz 对 2024 年 PostgreSQL 项目的未来展望,并回顾过去几年 PostgreSQL 所取得的进展。
PostgreSQL 宏观查询优化之 pg_stat_statements
·9190 字·19 分钟
PostgreSQL PG管理 性能
查询优化是 DBA 的核心工作内容之一,本文介绍了如何使用 pg_stat_statements 提供的指标,针对 PostgreSQL 进行宏观查询优化。
FerretDB:假扮成MongoDB的PG
·2180 字·5 分钟
PostgreSQL PG生态 MongoDB 扩展
FerretDB旨在提供一个基于 PostgreSQL 的,真正开源的 MongoDB 替代。
如何用 pg_filedump 抢救数据?
·5132 字·11 分钟
PostgreSQL PG管理 数据损坏 故障档案
备份是DBA的生命线 —— 但如果你的 PostgreSQL 数据库已经爆炸了又没有备份,那么该怎么办呢?也许 pg_filedump 可以帮到你!
向量是新的 JSON
·5126 字·11 分钟
PostgreSQL 向量数据库 扩展
以向量为代表的功能将成为构建应用时的关键要素,正如历史上的JSON一样。而PostgreSQL再一次站在时代风口浪尖引领数据库潮流,在向量扩展的加持下稳拿AI时代的高速增长。
PostgreSQL:最成功的数据库
·8127 字·17 分钟
PostgreSQL PG生态
数据库终局已现,PostgreSQL 称王。PG在SF2023开发者调研中拿下大满贯,占住了 Linux 之于服务器操作系统的生态位。本文便来说一说,为什么 PostgreSQL 是最成功的数据库。
AI大模型与向量库 PGVector
·3658 字·8 分钟
PostgreSQL PG开发 扩展 向量
本文聚焦被 AI 炒火了的向量数据库,介绍了AI嵌入与向量存储检索的基本原理,并用一个具体的知识库检索案例来串联介绍向量数据库插件 PGVECTOR 的功能、性能、获取与应用。
PostgreSQL 到底有多强?
·4779 字·10 分钟
PostgreSQL PG生态 性能
用性能数据说话,为什么PostgreSQL是世界上最先进的开源关系型数据库,暨世界上最成功的数据库。MySQL 和 PgSQL 性能谁好?分布式数据库到底怎么样?
为什么PostgreSQL是最成功的数据库?
·7148 字·15 分钟
PostgreSQL PG生态
数据库的用户是开发者,而开发者的意愿、喜好、选择又如何?总览 StackOverflow 过去六年的调研结果,不难看出在2022年,PostgreSQL 已经同时在这三项上登顶夺冠,成了字面意义上 “最成功的数据库”:
开箱即用的PG发行版:Pigsty
·4613 字·10 分钟
PostgreSQL Pigsty RDS
昨天在PostgreSQL中文社区做了一个直播分享,介绍了开源的PostgreSQL全家桶解决方案 —— Pigsty
为什么PostgreSQL前途无量?
·10346 字·21 分钟
PostgreSQL PG生态
数据库是信息系统的核心组件,关系型数据库是数据库中的绝对主力,而PostgreSQL是世界上最先进的开源关系型数据库。占据天时地利,何愁大业不成?
PG中的本地化排序规则
·5067 字·11 分钟
PostgreSQL PG管理
什么?不知道COLLATTION是什么,那记住一件事,用C COLLATE准没错!
高级模糊查询的实现
·5115 字·11 分钟
PostgreSQL PG开发 全文检索
如何在PostgreSQL中实现比较复杂的模糊查询逻辑?
PG复制标识详解(Replica Identity)
·4128 字·9 分钟
复制标识很重要,它关系到逻辑复制的成败
PostgreSQL 逻辑复制详解
·13946 字·28 分钟
PostgreSQL PG管理
本文介绍PostgreSQL 13中逻辑复制的相关原理,以及最佳实践。
PG慢查询诊断方法论
·3265 字·7 分钟
PostgreSQL PG管理 性能
慢查询是在线业务数据库的大敌,本文介绍了使用监控系统定位诊断慢查询的一般方法论。
故障档案:时间回溯导致的Patroni故障
·288 字·1 分钟
PostgreSQL PG管理 故障档案
机器因为故障重启,NTP服务在PG启动后修复了PG的时间,导致Patroni无法启动。
在线修改主键列类型
·1483 字·3 分钟
PostgreSQL PG管理
如何在线修改表中列的类型,例如从INT升级为BIGINT?
黄金监控指标:错误延迟吞吐饱和
·2368 字·5 分钟
PostgreSQL PG管理 监控 指标
了解PostgreSQL中的黄金监控指标
数据库集群管理概念与实体命名规范
·4035 字·9 分钟
PostgreSQL PG管理 架构
概念及其命名是非常重要的东西,命名风格体现了工程师对系统架构的认知。定义不清的概念将导致沟通困惑,随意设定的名称将产生意想不到的额外负担。因此需要审慎地设计。
PostgreSQL的KPI
·6643 字·14 分钟
PostgreSQL PG管理 监控 指标
管数据库和管人差不多,都需要定KPI(关键性能指标)。那么数据库的KPI是什么?本文介绍了一种衡量PostgreSQL负载的方式:使用一种单一横向可比,与负载类型和机器类型基本无关的指标,名曰PG Load(PG负载)。
在线修改PG字段类型
·1547 字·4 分钟
PostgreSQL PG管理 迁移
如何在线修改PostgreSQL中的字段类型?一种通用方法
前后端通信线缆协议
·1234 字·3 分钟
PostgreSQL PG开发 PG内核
了解PostgreSQL服务器与客户端通信使用的TCP协议,并使用Go语言打印消息
事务隔离等级注意事项
·3083 字·7 分钟
PostgreSQL PG开发
PostgreSQL实际上只有两种事务隔离等级:读已提交(Read Commited)与可序列化(Serializable)
故障档案:PG安装Extension导致无法连接
·991 字·2 分钟
PostgreSQL PG管理 扩展 故障档案
今天遇到一个比较有趣的Case,客户报告说数据库连不上了,发现是扩展导致的。
CDC 变更数据捕获机理
·9552 字·20 分钟
PostgreSQL PG开发 CDC
数据变更捕获是一种很有趣的ETL替代方案。
PostgreSQL中的锁
·7397 字·15 分钟
PostgreSQL PG开发
详细介绍PostgreSQL中的各种锁
GIN搜索的O(n2)负载度
·710 字·2 分钟
PostgreSQL PG开发 GIN
GIN索引如果使用很长的关键词列表进行搜索,会导致性能显著下降。本文解释了为什么GIN索引关键词搜索的时间复杂度为O(n^2)
PostgreSQL 常见复制拓扑方案
·1192 字·3 分钟
PostgreSQL PG管理 架构
复制是系统架构中的核心问题之一。
温备:使用pg_receivewal
·1661 字·4 分钟
PostgreSQL PG管理 备份
备份有各种各样的策略,物理备份通常可以分为四种。
故障档案:pg_dump导致的连接池污染
·2651 字·6 分钟
PostgreSQL PG管理 故障档案
有时候,组件之间的相互作用会以微妙的形式表现出来。例如使用pg_dump从连接池中导出数据,就可能产生连接池污染的问题。
PostgreSQL数据页面损坏修复
·4605 字·10 分钟
PostgreSQL PG管理 数据损坏 故障档案
采用二进制编辑的方式修复PostgreSQL数据页,以及如何让一条主键查询出现两条记录来。
关系膨胀的监控与治理
·5798 字·12 分钟
PostgreSQL PG管理
PostgreSQL使用了MVCC作为主要并发控制技术,它有很多好处,但也会带来一些其他的影响,例如关系膨胀。
PipelineDB快速上手
·331 字·1 分钟
PostgreSQL PG管理 扩展
PipelineDB是PostgreSQL的一个扩展插件,提供流式数据处理的相关功能。
TimescaleDB 快速上手
·9250 字·19 分钟
PostgreSQL PG管理 扩展
TimescaleDB是PostgreSQL的一个扩展插件,提供时序数据库的一些功能。
故障档案:PostgreSQL事务号回卷
·2024 字·5 分钟
PostgreSQL PG管理 故障档案
XID WrapAround也许是PostgreSQL特有的一种故障
故障档案:序列号消耗过快导致整型溢出
·1208 字·3 分钟
PostgreSQL PG管理 故障档案
如果您在表上用了Interger的序列号,最好还是考虑一下可能溢出的情况。
GeoIP 地理逆查询优化
·3025 字·7 分钟
PostgreSQL PG开发 扩展 GIS
在应用开发中,一个‘很常见’的需求就是GeoIP转换。将请求的来源IP转换为相应的地理坐标,或者行政区划(国家-省-市-县-乡-镇)
PostgreSQL的触发器使用注意事项
·2276 字·5 分钟
PostgreSQL PG开发 触发器
详细了解PostgreSQL中触发器的管理与使用
PostgreSQL好处都有啥
·4992 字·10 分钟
PostgreSQL PG生态
PostgreSQL的Slogan是“世界上最先进的开源关系型数据库”,要我说,最能生动体现PG特色的口号应该是:一专多长的全栈数据库,一招鲜吃遍天。
KNN极致优化:从RDS到PostGIS
·8234 字·17 分钟
PostgreSQL PG开发 KNN GIS
KNN问题极致优化,从传统关系型设计到PostGIS
PostGIS高效解决行政区划归属查询
·4386 字·9 分钟
PostgreSQL PG开发 GIS
如何高效解决典型地理逆编码问题:根据用户的经纬度坐标,定位用户的行政区划。
监控PG中的表大小
·1451 字·3 分钟
PostgreSQL PG管理 监控
PostgreSQL中的表对应着许多物理文件,本文介绍如何统计一张表在PostgreSQL的实际大小
PgAdmin安装配置
·465 字·1 分钟
PostgreSQL PG管理 工具
PgAdmin是一个管理PostgreSQL的GUI程序,用python写成,但实在是过于古早,需要一些额外配置。
故障档案:快慢不匀雪崩
·2966 字·6 分钟
PostgreSQL PG管理 故障档案
最近发生了一起匪夷所思的故障,某数据库切走了一半的数据量和负载,结果却因为负载变大被打挂了。
Bash与psql小技巧
·2875 字·6 分钟
PostgreSQL PG管理 工具
一些PostgreSQL与Bash交互的技巧。
Distinct On 去除重复数据
·837 字·2 分钟
PostgreSQL PG开发 SQL
使用Distinct On扩展字句快速找出分组内具有最大最小值的记录
函数易变性等级分类
·1180 字·3 分钟
PostgreSQL PG开发 函数
PgSQL中的函数默认有三种易变性等级,合理使用可以显著改善性能。
用 Exclude 实现互斥约束
·1713 字·4 分钟
PostgreSQL PG开发 SQL
Exclude约束是一个PostgreSQL扩展,它可以实现一些更高级,更巧妙的的数据库约束。
PostgreSQL例行维护
·372 字·1 分钟
PostgreSQL PG管理
汽车需要上油,数据库也需要维护保养。对Pg而言,有三项比较重要的维护工作:备份、重整、清理
备份恢复手段概览
·7006 字·14 分钟
PostgreSQL PG管理 备份
备份是DBA的安身立命之本,有备份,就不用慌。
PgBackRest2中文文档
·7804 字·16 分钟
PostgreSQL PG管理 备份
PgBackRest是用perl写的一组PostgreSQL备份工具
Pgbouncer快速上手
·5689 字·12 分钟
PostgreSQL PG管理 连接池
Pgbouncer是一个轻量级的数据库连接池,这里简单介绍Pgbouncer的配置、管理与使用。
PG服务器日志常规配置
·833 字·2 分钟
PostgreSQL PG管理 日志
建议配置PostgreSQL的日志格式为CSV,方便分析,而且可以直接导入PostgreSQL数据表中。
空中换引擎 —— PostgreSQL不停机迁移数据
·1221 字·3 分钟
PostgreSQL PG管理 迁移
通常涉及到数据迁移,常规操作都是停服务更新。不停机迁移数据是相对比较高级的操作。
使用FIO测试磁盘性能
·407 字·1 分钟
PostgreSQL PG管理 性能
FIO可以很方便地测试磁盘IO性能
使用sysbench测试PostgreSQL性能
·413 字·1 分钟
PostgreSQL PG管理 性能
尽管PostgreSQL提供了pgbench,但有时候为了吊打一下MySQL,还是需要用到sysbench的。
找出没用过的索引
·546 字·2 分钟
PostgreSQL PG管理
索引很有用, 但不是免费的。没用到的索引是一种浪费,使用这里的方法找出未使用的索引
批量配置SSH免密登录
·539 字·2 分钟
PostgreSQL PG管理
快速配置所有机器的免密登陆
Wireshark抓包分析协议
·2014 字·5 分钟
PostgreSQL PG管理 工具
Wireshark是一个很有用的工具,特别适合用来分析网络协议,这里简单介绍使用Wireshark抓包分析PostgreSQL协议的方法。
file_fdw妙用无穷——从数据库读取系统信息
·1457 字·3 分钟
PostgreSQL PG管理 扩展
通过file_fdw,轻松查看操作系统信息,拉取网络数据,把各种各样的数据源轻松喂进数据库里统一查看管理。
Linux 常用统计 CLI 工具
·4377 字·9 分钟
PostgreSQL PG管理 工具
top, free, vmstat, iostat:四大常用 CLI 工具命令速查
源码编译安装 PostGIS
·1527 字·4 分钟
PostgreSQL PG管理 扩展
PostGIS是PG的杀手锏插件,但编译安装可不容易。
Go数据库教程:database/sql
·9117 字·19 分钟
PostgreSQL Go
同JDBC类似,Go也有标准的数据库访问接口。本文详细介绍了Go 语言中 database/sql的使用方法和注意事项。
GO与PG实现缓存同步
·2389 字·5 分钟
PostgreSQL PG开发 触发器
巧妙运用Pg的Notify功能,可以方便地通知应用元数据变更,实现基于触发器的逻辑复制。
用触发器审计数据变化
·658 字·2 分钟
PostgreSQL PG开发 触发器
有时候,我们希望记录一些重要的元数据变更,以便事后审计之用。PostgreSQL的触发器就可以很方便地自动解决这一需求。
SQL实现ItemCF推荐系统
·3292 字·7 分钟
PostgreSQL PG开发 推荐系统
用PostgreSQL 5分钟实现一个最简单ItemCF推荐系统
UUID性质原理与应用
·3431 字·7 分钟
PostgreSQL PG开发 架构
UUID性质原理与应用,以及如何利用PostgreSQL的存储过程操作UUID。
PostgreSQL MongoFDW安装部署
·1634 字·4 分钟
PostgreSQL PG管理 扩展
最近有业务要求通过PostgreSQL FDW去访问MongoDB,但是,MongoDB FDW 编译起来真是要人命啊。