闲杂小记

About

Sat, 10 Sep 2022 15:21:00 +0800

一个程序员，随便写写

TiDB MVCC GC

Tue, 22 Nov 2022 23:34:28 +0800

TiDB 事物基于 MVCC 实现，新的数据写入，旧的数据依旧存在，通过时间戳进行区分，成为数据的不同版本。此处的 GC 指的是对旧数据进行清除。

TiDB 集群中，存在一个节点成为 GC Leader，负责清除老旧的 MVCC 版本数据。GC 会定期触发，默认 10 分钟一次。

GC 的时候，会默认保留最近 10 分钟内的老旧数据，该时间被称为 “GC life time”。当前时间，减去 “GC life time” 得到的时刻，被称为 “GC Safe Point”，即在该时刻之后的数据，都被保留。

GC 可能是一个颇为耗时的过程，如果当前触发的 GC 过程正在执行中，下一次触发 GC 到达，那么新触发的 GC 不会执行。

GC 执行过程中，不应该影响其他正在执行的事物。如果存在执行时间较长的事物，那么 GC Safe Point 不会大于正在执行的事物的 start_ts。也就是说，GC Safe Point 的计算公式为：

GC Safe Point = min(current_time - gc_life_time, start-ts of all running transactions)

GC 的执行过程

第一阶段执行 “resolve lock” 操作，清除所有 regions 上 safe point 之前的锁。

第二阶段执行 “delete ranges”，快速删除由于 DROP TABLE / DROP Index 等操作产生的整区间的垃圾数据。

第三阶段会扫描每个 TiKV 上的数据，针对每一个 key 删除其不再需要的老旧版本。会对每个 key 保留 safe point 前的最后一次写入（除非最后一次写入是删除）。只需要将 safe point 发送给 PD，即可结束整轮 GC。TiKV 会自行检测到 safe point 发生了更新，会对当前节点上所有作为 Region leader 进行 GC。与此同时，GC leader 可以继续触发下一轮 GC。

Resolve lock 的实现

GC 的具体执行过程

GC 对 TiCDC 的影响

GC 对 BR 的影响

参考

https://docs.pingcap.com/zh/tidb/dev/garbage-collection-overview

Br

Mon, 21 Nov 2022 17:21:49 +0800

br 的应用场景
什么是全量备份

全量备份是对集群某个时间点的全量数据进行备份。

什么是 PITR

Backup 工作过程

tiup br backup db --db=sysbench --pd=http://10.2.7.4:2379 --storage="s3://db-sysbench-300?access-key=minioadmin&secret-access-key=minioadmin&endpoint=http%3a%2f%2f10.2.7.72:9199&force-path-style=true" --send-credentials-to-tikv=true

Backup 执行的产物：

backup.lock
backupmeta
多个文件夹，每个文件夹里存放多个 sst 文件。

Backup 的基本工作过程：

初始化到下游备份存储节点的连接
找到需要被备份的 ranges
根据 backup-ts，拿到一个 snapshot，在该 snapshot 智商，对目标 ranges 进行备份。

备份数据，备份 schema，写 meta。

对每一个 schema 计算 checksum。发送 checksum request 到 tikv，收集 response，构建 checksum 结果。

（添加流程图）大致流程：

检查配置 -> 创建 client -> 创建 backup storage -> 检查 backup storage 的可用性，不能有其他 backup 正在使用该 storage -> 对 backup storage 上 file lock -> 修改 gc ttl -> 生成 backup ts

启动 safe point keeper，周期性更新 gc safe point。

创建 backupRequest, StartVersion <-> EndVersion。

meta writer 的工作过程

创建 meta writer。

FlushBackUpMeta 将 meta 序列化，然后加密，再写到目标存储系统。

Backup ranges

client.BackupRanges，按照 range 备份，并行执行。分别调用 client.BackupRange。

找到所有的 tikv store
将 backup requst 发送到所有 tikv instances (stores)，收集对应的 response。
执行 fineGrainedBackup

根据步骤 2 手机到的结果，构建已经被备份的 ranges。查看是否存在尚未被备份的 ranges，如果存在则对这些 ranges 执行 backup 操作。

Backup schemas

Flush meta

backup ts 是什么。基于 TiDB MVCC 实现的快照备份，backup-ts 指定了备份的 tso。

备份存储地址

告知 tikv 对目标 regions 进行备份

tikv 侧的 backup worker

数据备份 -> 元信息备份

是否备份索引等数据？

如何对备份数据进行压缩？ztsd

前置检查，连接 pd，tikv

拿到需要被备份的 ranges，schemas，placement polies

metaWriter.FinishWriteMetas

备份 schemas：对每个 schema 计算 checksum，将 table 的统计信息导出到 json。

schema 是什么？

备份过程中，执行了 DDL 怎么办？

备份过程中，发生了 region 变化怎么办？

Full

Table

Raw

Restore 过程

PITR

introduce

Sat, 10 Sep 2022 16:32:34 +0800

先写点什么东西，比如 tags / categories，占个位置，看起来不那么空空如也。

至于写点文章什么的，以后再说吧。