Lecture 4¶

Database Storage Part 2

Storage¶

File Organization¶

Slotted Pages¶

页中的元组是变长的，所以需要一个额外的数据结构来存储元组的位置信息。这个数据结构叫做Slot，每个Slot对应一个元组。

Slotted Page 内部结构如下图所示：

block-beta
    columns 1
    block:header["Page Header"]
        columns 3
        A["num_slots"] B["num_used"] C["free_start"]
    end
    block:slots["Slot Array (grows →)"]
        columns 4
        S1["Slot 0: offset, len"] S2["Slot 1: offset, len"] S3["Slot 2: offset, len"] S4["..."]
    end
    space
    block:data["Tuple Data (← grows)"]
        columns 3
        T1["Tuple 2"] T2["Tuple 1"] T3["Tuple 0"]
    end

Log-Structured File Organization¶

Log-Structured File Organization是一种基于日志的文件组织方式。它将所有的更新操作都记录在一个日志中。DBMS只储存日志记录，而不是直接记录数据。如果需要读取数据，DBMS会先读取日志，然后重新构建数据。使用indexes可以加速找到日志的位置。周期性地compact（压缩）日志可以减少读取的时间。

flowchart LR
    W["写操作"] --> M["MemTable (内存)]
    M -->|达到阈值| I["Immutable MemTable"]
    I -->|flush| L0["Level 0 SSTable"]
    L0 -->|merge| L1["Level 1 SSTable"]
    L1 -->|merge| L2["Level 2 SSTable"]
    L2 -->|...| LN["Level N"]

Data Representation¶

元组只是字节的序列，可以使用不同精度的数据类型来表示数据，如Integer、Float、Decimal、Date、Time、String等。

不同数字类型有不同的精度和范围，使用过程中要避免舍入误差的问题。使用带有元数据、精确、可变长的二进制表示可以解决这个问题。

block-beta
    columns 1
    block:int["Integer: 定长 1/2/4/8 字节"]
        A["Big-Endian / Little-Endian 序列化"]
    end
    block:float["Float: IEEE 754 标准"]
        B["4B (float32) / 8B (float64)"]
    end
    block:str["String: 变长"]
        C["方案1: 空终止符 (\\0)"]
        D["方案2: 前缀长度 (1~4B) + 数据"]
    end
    block:var["Varlena (PostgreSQL)"]
        E["1B header + data (小对象)"]
        F["4B header + data (大对象, TOAST)"]
    end

Storage Models: NSM / DSM / PAX¶

元组在页内的组织方式也会影响查询性能。不同的存储模型适用于不同的工作负载。

block-beta
    columns 1
    block:nsm["NSM (N-ary Storage Model) — 行存储"]
        columns 4
        N1["Col A"] N2["Col B"] N3["Col C"] N4["Col D"]
    end
    block:dsm["DSM (Decomposition Storage Model) — 列存储"]
        columns 1
        D1["All Col A values"]
        D2["All Col B values"]
        D3["All Col C values"]
        D4["All Col D values"]
    end
    block:pax["PAX (Partition Attributes Across) — 混合存储"]
        columns 2
        P1["Page 1: Col A | Col B"] P2["Page 2: Col C | Col D"]
    end

Postgres:Numeric¶

用C语言来表示储存细节：

1
2
3
4
5
6
7

typedef unsigned char NumericDigit;
typedef struct {
    int ndigits; // number of digits in digits[]
    int weight; // weight of first digit
    int sign; // NUMERIC_POS, NUMERIC_NEG, or NUMERIC_NAN
    NumericDigit *digits; // array of digits, most significant first
} numeric;

Large Values¶

大多数DBMS都不允许元组的大小超过一个页的大小。为了存储大的数据，DBMS会将数据分割成多个页，然后使用指针来连接这些页，即seperate overflow pages。

flowchart LR
    P["主元组页"] -->|指针| O1["Overflow Page 1"]
    O1 -->|指针| O2["Overflow Page 2"]
    O2 -->|指针| O3["Overflow Page 3"]

External Value Storage¶

有时候，元组中的数据可能会很大，不适合存储在页中。这时候可以使用外部存储，将数据存储在文件中，然后在页中存储指向文件的指针。DBMS无法直接访问外部存储，也无法提供一些保护，如durability（持久性）、transaction（事务）等。

Storage Summary: 三种文件组织方式对比¶