跳过正文
  1. PostgreSQL大法师/

PipelineDB快速上手

·331 字·1 分钟· ·
PostgreSQL PG管理 扩展
冯若航
作者
冯若航
Pigsty 创始人, @Vonng
目录

PipelineDB安装与配置
#

PipelineDB可以直接通过官方rpm包安装。

加载PipelineDB需要添加动态链接库,在postgresql.conf中修改配置项并重启:

shared_preload_libraries = 'pipelinedb'
max_worker_processes = 128

注意如果不修改max_worker_processes会报错。其他配置都参照标准的PostgreSQL

PipelineDB使用样例 —— 维基PV数据
#

-- 创建Stream
CREATE FOREIGN TABLE wiki_stream (
        hour timestamp,
        project text,
        title text,
        view_count bigint,
        size bigint)
SERVER pipelinedb;

-- 在Stream上进行聚合
CREATE VIEW wiki_stats WITH (action=materialize) AS
SELECT hour, project,
        count(*) AS total_pages,
        sum(view_count) AS total_views,
        min(view_count) AS min_views,
        max(view_count) AS max_views,
        avg(view_count) AS avg_views,
        percentile_cont(0.99) WITHIN GROUP (ORDER BY view_count) AS p99_views,
        sum(size) AS total_bytes_served
FROM wiki_stream
GROUP BY hour, project;

然后,向Stream中插入数据:

curl -sL http://pipelinedb.com/data/wiki-pagecounts | gunzip | \
        psql -c "
        COPY wiki_stream (hour, project, title, view_count, size) FROM STDIN"

基本概念
#

PipelineDB中的基本抽象被称之为:连续视图(Continuous View)

相关文章

TimescaleDB 快速上手
·9250 字·19 分钟
PostgreSQL PG管理 扩展
TimescaleDB是PostgreSQL的一个扩展插件,提供时序数据库的一些功能。
file_fdw妙用无穷——从数据库读取系统信息
·1457 字·3 分钟
PostgreSQL PG管理 扩展
通过file_fdw,轻松查看操作系统信息,拉取网络数据,把各种各样的数据源轻松喂进数据库里统一查看管理。
源码编译安装 PostGIS
·1527 字·4 分钟
PostgreSQL PG管理 扩展
PostGIS是PG的杀手锏插件,但编译安装可不容易。
PostgreSQL MongoFDW安装部署
·1634 字·4 分钟
PostgreSQL PG管理 扩展
最近有业务要求通过PostgreSQL FDW去访问MongoDB,但是,MongoDB FDW 编译起来真是要人命啊。
故障档案:PostgreSQL事务号回卷
·2024 字·5 分钟
PostgreSQL PG管理 故障档案
XID WrapAround也许是PostgreSQL特有的一种故障
故障档案:序列号消耗过快导致整型溢出
·1208 字·3 分钟
PostgreSQL PG管理 故障档案
如果您在表上用了Interger的序列号,最好还是考虑一下可能溢出的情况。