SequoiaDB分布式数据库权威指南

作者: 许建辉

出版社: 电子工业出版社

出版时间: 2021-11

版次: 1

ISBN: 9787121422911

定价: 99.00

装帧: 其他

开本: 16开

纸张: 胶版纸

页数: 360页

字数: 463千字

分类: 计算机与互联网

5 张插图图片

2人买过

本书从分布式数据库的背景与发展情况出发，详细、系统地介绍了国产分布式数据库SequoiaDB（巨杉数据库）的基础知识、数据库实例、架构原理、运维管理等核心技术内容，提供了性能调优和问题诊断的基本思路。此外，书中还分享了SequoiaDB的行业应用、实践、工具和生态等内容。
本书旨在帮助读者更好地理解SequoiaDB的运行机制和原理，掌握运维管理的思路和实践方法，适用于普通读者入门SequoiaDB，也适用于对分布式数据库有一定认识，且具备一定运维和开发能力的读者深入了解SequoiaDB技术细节。许建辉，巨杉数据库（SequoiaDB）公司的合伙人兼研发副总裁，拥有超过12年数据库、分布式架构研发经验。2012年加入巨杉数据库公司，作为总架构师，他负责数据库的架构设计、数据库技术创新和研发管理工作，协助将巨杉数据库服务于金融、能源、运营商等多个行业及政府部门，为众多客户提供坚实的数据基础设施。他曾为华为分布式数据库和分布式存储团队成员，是国内早的一批研究分布式技术的开拓者。

陈元熹，巨杉数据库（SequoiaDB）公司资深技术总监，具有近20年领先的软硬件协同设计经验，长期关注数据库前沿技术的研究。他是IBM加拿大多伦多实验室前资深架构研发工程师，拥有12年DB2 LUW研发经验，获得DB2 LUW高级数据库管理员和开发人员认证；曾是华为2012实验室高级研究员、首席架构师，从事大数据、NFV、计算生物信息学方面的研究工作，曾任华为公司数据库专家组委员。第 1章分布式数据库行业发展 ......................................................................................... 1

1.1 分布式数据库的行业背景与发展轨迹 ...................................................................1

1.1.1 螺旋上升、新旧交替的数据库历史 ..........................................................2

1.1.2 新一代分布式数据库的发展方向：湖仓一体架构 ..................................3

1.2 巨杉数据库公司及其产品简介...............................................................................5

1.2.1 SequoiaDB 的产品概述 ..............................................................................5

1.2.2 SequoiaDB 的核心特性 ..............................................................................7

1.2.3 SequoiaDB 的整体架构 ............................................................................ 11

第 2章 SequoiaDB 行业应用及实践 ....................................................................... 14

2.1 企业应用场景 ........................................................................................................14

2.1.1 分布式联机交易业务 ...............................................................................14

2.1.2 数据中台服务 ...........................................................................................16

2.1.3 内容管理服务 ...........................................................................................18

2.2 企业级应用案例 ....................................................................................................20

2.2.1 某银行的分布式数据库实践....................................................................20

2.2.2 某省级农信社的联机交易业务应用实践 ................................................23

第 3章 SequoiaDB 基础知识 .......................................................................................... 30

3.1 SequoiaDB 的安装和部署 .....................................................................................30

3.1.1 软硬件环境需求 .......................................................................................30

3.1.2 Linux 的推荐配置 .....................................................................................36

3.1.3 数据库引擎的安装 ...................................................................................43

3.1.4 集群模式部署 ...........................................................................................45

3.1.5 Docker 模式部署 .......................................................................................48

3.2 MySQL 实例的基本操作 ......................................................................................52

3.2.1 配置 SequoiaDB 服务 ...............................................................................52

3.2.2 启动存储集群 ...........................................................................................53

3.2.3 启动 MySQL 服务 ....................................................................................54

3.2.4 创建表和索引 ...........................................................................................55

3.2.5 CRUD ........................................................................................................57

3.3 SDB Shell 模式 ......................................................................................................58

3.3.1 启动 Shell ..................................................................................................58

3.3.2 SDB Shell 的基本操作 .............................................................................60

3.3.3 使用 SDB Shell 执行脚本 ........................................................................61

第 4章数据库实例 ......................................................................................................... 64

4.1 MySQL 实例 ..........................................................................................................64

4.1.1 MySQL 实例的安装和部署 .....................................................................65

4.1.2 MySQL 实例的使用方法 .........................................................................66

4.1.3 MySQL 开发 — JDBC 驱动程序 ...........................................................69

4.1.4 MySQL 开发 — ODBC 驱动程序 .........................................................72

4.2 PostgreSQL 实例 ....................................................................................................75

4.2.1 PostgreSQL 实例的安装和部署 ...............................................................75

4.2.2 PostgreSQL 实例的使用方法 ...................................................................78

4.2.3 PostgreSQL 开发 — JDBC 驱动程序 ....................................................83

4.2.4 PostgreSQL 开发 — ODBC 驱动程序 ...................................................86

4.3 SparkSQL 实例 ......................................................................................................89

4.3.1 SparkSQL 实例的安装 ..............................................................................90

4.3.2 SparkSQL 实例的使用方法 ......................................................................90

4.3.3 Spark 命令行的连接 .................................................................................94

4.3.4 Spark 开发 — JDBC 驱动程序 ..............................................................97

4.4 MariaDB 实例 ...................................................................................................... 106

4.4.1 MariaDB 实例的安装和部署 ................................................................. 107

4.4.2 MariaDB 实例的使用方法 ..................................................................... 109

4.5 S3 实例 ................................................................................................................. 111

4.5.1 S3 实例的安装操作 ................................................................................ 111

4.5.2 S3 实例的基本读/写操作 ....................................................................... 115

4.5.3 S3 实例的命令行连接 ............................................................................ 117

4.5.4 S3 实例的 Java 开发样例 ....................................................................... 120

4.6 SequoiaFS 文件系统实例 .................................................................................... 124

4.6.1 文件系统实例的安装和部署.................................................................. 125

4.6.2 挂载目录 ................................................................................................. 127

4.6.3 数据设计 ................................................................................................. 133

4.6.4 API ........................................................................................................... 139

4.7 JSON 实例 ............................................................................................................ 141

4.7.1 JSON 实例的安装和部署 ....................................................................... 142

4.7.2 JSON 实例的使用 ................................................................................... 142

4.7.3 JSON 实例的开发 ................................................................................... 142

第 5章架构和数据模型 ................................................................................................ 148

5.1 节点 ...................................................................................................................... 149

5.1.1 SQL 节点 ................................................................................................. 149

5.1.2 协调节点 ................................................................................................. 150

5.1.3 数据节点 ................................................................................................. 152

5.1.4 编目节点 ................................................................................................. 154

5.1.5 资源管理节点 ......................................................................................... 156

5.2 复制 ...................................................................................................................... 157

5.2.1 复制组的原理 ......................................................................................... 158

5.2.2 部署复制组 ............................................................................................. 163

5.2.3 复制组选举 ............................................................................................. 167

5.2.4 复制组监控 ............................................................................................. 169

5.2.5 主备一致性 ............................................................................................. 172

5.3 分区 ...................................................................................................................... 174

5.3.1 数据库分区的原理 ................................................................................. 175

5.3.2 分区配置 ................................................................................................. 177

5.3.3 分区索引 ................................................................................................. 180

5.3.4 多维分区 ................................................................................................. 181

5.4 分布式事务 .......................................................................................................... 183

5.4.1 事务日志 ................................................................................................. 184

5.4.2 二阶段提交 ............................................................................................. 186

5.4.3 隔离级别 ................................................................................................. 188

5.4.4 事务配置 ................................................................................................. 191

5.5 数据模型 .............................................................................................................. 195

5.5.1 数据模型概述 ......................................................................................... 195

5.5.2 文档记录 ................................................................................................. 199

5.5.3 集合 ......................................................................................................... 201

5.5.4 集合空间 ................................................................................................. 201

5.5.5 大对象 ..................................................................................................... 204

5.5.6 索引 ......................................................................................................... 208

5.5.7 全文索引 ................................................................................................. 212

5.5.8 序列 ......................................................................................................... 218

5.6 时间序列 .............................................................................................................. 225

5.6.1 逻辑时间 ................................................................................................. 226

5.6.2 工具 ......................................................................................................... 226

第 6章进阶使用与运维 ................................................................................................ 237

6.1 数据迁移 .............................................................................................................. 237

6.1.1 从 CSV 文件迁移至 SequoiaDB ............................................................ 238

6.1.2 从 JSON 文件迁移至 SequoiaDB ........................................................... 240

6.1.3 实时的第三方数据复制 ......................................................................... 241

6.1.4 数据导出 ................................................................................................. 248

6.2 版本升级 .............................................................................................................. 253

6.2.1 兼容性列表 ............................................................................................. 254

6.2.2 离线升级 ................................................................................................. 255

6.2.3 滚动升级 ................................................................................................. 256

6.3 扩容/缩容 ............................................................................................................. 257

6.3.1 新增服务器 ............................................................................................. 257

6.3.2 在服务器内新增节点 ............................................................................. 258

6.3.3 集群服务器的缩容 ................................................................................. 262

6.3.4 集群服务器内节点的缩容 ..................................................................... 266

6.4 备份与恢复 .......................................................................................................... 268

6.4.1 备份与恢复的原理 ................................................................................. 268

6.4.2 数据的备份 ............................................................................................. 270

6.4.3 数据的恢复 ............................................................................................. 271

6.4.4 日志归档 ................................................................................................. 275

6.5 数据库的监控 ...................................................................................................... 277

6.5.1 监控节点 ................................................................................................. 277

6.5.2 监控集群 ................................................................................................. 278

6.5.3 监控工具 sdbtop ...................................................................................... 280

6.6 高可用性与容灾 .................................................................................................. 288

6.6.1 同城双中心部署 ..................................................................................... 289

6.6.2 两地三中心部署 ..................................................................................... 303

6.6.3 三地五中心部署 ..................................................................................... 304

6.6.4 容灾工具的使用 ..................................................................................... 306

6.7 故障诊断 .............................................................................................................. 325

6.7.1 热点问题的处理 ..................................................................................... 325

6.7.2 因 CPU 占用率过高所导致的读/写延迟增加及其相应的处理方法 ..... 332

6.7.3 磁盘 I/O 负载过高及其相应的处理方法 .............................................. 335

6.8 性能调优 .............................................................................................................. 336

6.8.1 性能瓶颈的诊断 ..................................................................................... 337

6.8.2 集群性能的监控 ..................................................................................... 339

第 7章工具和生态 ....................................................................................................... 343

7.1 数据管理工具 ...................................................................................................... 343

7.2 SAC ...................................................................................................................... 344

7.3 SequoiaDB Cloud 多云管理平台 ........................................................................ 344

7.4 巨杉生态社区 ...................................................................................................... 345

7.4.1 巨杉学的目标 ......................................................................................... 345

7.4.2 巨杉学的优势 ......................................................................................... 346

7.4.3 关于认证考试 ......................................................................................... 346
内容简介:
本书从分布式数据库的背景与发展情况出发，详细、系统地介绍了国产分布式数据库SequoiaDB（巨杉数据库）的基础知识、数据库实例、架构原理、运维管理等核心技术内容，提供了性能调优和问题诊断的基本思路。此外，书中还分享了SequoiaDB的行业应用、实践、工具和生态等内容。
本书旨在帮助读者更好地理解SequoiaDB的运行机制和原理，掌握运维管理的思路和实践方法，适用于普通读者入门SequoiaDB，也适用于对分布式数据库有一定认识，且具备一定运维和开发能力的读者深入了解SequoiaDB技术细节。
作者简介:
许建辉，巨杉数据库（SequoiaDB）公司的合伙人兼研发副总裁，拥有超过12年数据库、分布式架构研发经验。2012年加入巨杉数据库公司，作为总架构师，他负责数据库的架构设计、数据库技术创新和研发管理工作，协助将巨杉数据库服务于金融、能源、运营商等多个行业及政府部门，为众多客户提供坚实的数据基础设施。他曾为华为分布式数据库和分布式存储团队成员，是国内早的一批研究分布式技术的开拓者。

陈元熹，巨杉数据库（SequoiaDB）公司资深技术总监，具有近20年领先的软硬件协同设计经验，长期关注数据库前沿技术的研究。他是IBM加拿大多伦多实验室前资深架构研发工程师，拥有12年DB2 LUW研发经验，获得DB2 LUW高级数据库管理员和开发人员认证；曾是华为2012实验室高级研究员、首席架构师，从事大数据、NFV、计算生物信息学方面的研究工作，曾任华为公司数据库专家组委员。
目录:
第 1章分布式数据库行业发展 ......................................................................................... 1

1.1 分布式数据库的行业背景与发展轨迹 ...................................................................1

1.1.1 螺旋上升、新旧交替的数据库历史 ..........................................................2

1.1.2 新一代分布式数据库的发展方向：湖仓一体架构 ..................................3

1.2 巨杉数据库公司及其产品简介...............................................................................5

1.2.1 SequoiaDB 的产品概述 ..............................................................................5

1.2.2 SequoiaDB 的核心特性 ..............................................................................7

1.2.3 SequoiaDB 的整体架构 ............................................................................ 11

第 2章 SequoiaDB 行业应用及实践 ....................................................................... 14

2.1 企业应用场景 ........................................................................................................14

2.1.1 分布式联机交易业务 ...............................................................................14

2.1.2 数据中台服务 ...........................................................................................16

2.1.3 内容管理服务 ...........................................................................................18

2.2 企业级应用案例 ....................................................................................................20

2.2.1 某银行的分布式数据库实践....................................................................20

2.2.2 某省级农信社的联机交易业务应用实践 ................................................23

第 3章 SequoiaDB 基础知识 .......................................................................................... 30

3.1 SequoiaDB 的安装和部署 .....................................................................................30

3.1.1 软硬件环境需求 .......................................................................................30

3.1.2 Linux 的推荐配置 .....................................................................................36

3.1.3 数据库引擎的安装 ...................................................................................43

3.1.4 集群模式部署 ...........................................................................................45

3.1.5 Docker 模式部署 .......................................................................................48

3.2 MySQL 实例的基本操作 ......................................................................................52

3.2.1 配置 SequoiaDB 服务 ...............................................................................52

3.2.2 启动存储集群 ...........................................................................................53

3.2.3 启动 MySQL 服务 ....................................................................................54

3.2.4 创建表和索引 ...........................................................................................55

3.2.5 CRUD ........................................................................................................57

3.3 SDB Shell 模式 ......................................................................................................58

3.3.1 启动 Shell ..................................................................................................58

3.3.2 SDB Shell 的基本操作 .............................................................................60

3.3.3 使用 SDB Shell 执行脚本 ........................................................................61

第 4章数据库实例 ......................................................................................................... 64

4.1 MySQL 实例 ..........................................................................................................64

4.1.1 MySQL 实例的安装和部署 .....................................................................65

4.1.2 MySQL 实例的使用方法 .........................................................................66

4.1.3 MySQL 开发 — JDBC 驱动程序 ...........................................................69

4.1.4 MySQL 开发 — ODBC 驱动程序 .........................................................72

4.2 PostgreSQL 实例 ....................................................................................................75

4.2.1 PostgreSQL 实例的安装和部署 ...............................................................75

4.2.2 PostgreSQL 实例的使用方法 ...................................................................78

4.2.3 PostgreSQL 开发 — JDBC 驱动程序 ....................................................83

4.2.4 PostgreSQL 开发 — ODBC 驱动程序 ...................................................86

4.3 SparkSQL 实例 ......................................................................................................89

4.3.1 SparkSQL 实例的安装 ..............................................................................90

4.3.2 SparkSQL 实例的使用方法 ......................................................................90

4.3.3 Spark 命令行的连接 .................................................................................94

4.3.4 Spark 开发 — JDBC 驱动程序 ..............................................................97

4.4 MariaDB 实例 ...................................................................................................... 106

4.4.1 MariaDB 实例的安装和部署 ................................................................. 107

4.4.2 MariaDB 实例的使用方法 ..................................................................... 109

4.5 S3 实例 ................................................................................................................. 111

4.5.1 S3 实例的安装操作 ................................................................................ 111

4.5.2 S3 实例的基本读/写操作 ....................................................................... 115

4.5.3 S3 实例的命令行连接 ............................................................................ 117

4.5.4 S3 实例的 Java 开发样例 ....................................................................... 120

4.6 SequoiaFS 文件系统实例 .................................................................................... 124

4.6.1 文件系统实例的安装和部署.................................................................. 125

4.6.2 挂载目录 ................................................................................................. 127

4.6.3 数据设计 ................................................................................................. 133

4.6.4 API ........................................................................................................... 139

4.7 JSON 实例 ............................................................................................................ 141

4.7.1 JSON 实例的安装和部署 ....................................................................... 142

4.7.2 JSON 实例的使用 ................................................................................... 142

4.7.3 JSON 实例的开发 ................................................................................... 142

第 5章架构和数据模型 ................................................................................................ 148

5.1 节点 ...................................................................................................................... 149

5.1.1 SQL 节点 ................................................................................................. 149

5.1.2 协调节点 ................................................................................................. 150

5.1.3 数据节点 ................................................................................................. 152

5.1.4 编目节点 ................................................................................................. 154

5.1.5 资源管理节点 ......................................................................................... 156

5.2 复制 ...................................................................................................................... 157

5.2.1 复制组的原理 ......................................................................................... 158

5.2.2 部署复制组 ............................................................................................. 163

5.2.3 复制组选举 ............................................................................................. 167

5.2.4 复制组监控 ............................................................................................. 169

5.2.5 主备一致性 ............................................................................................. 172

5.3 分区 ...................................................................................................................... 174

5.3.1 数据库分区的原理 ................................................................................. 175

5.3.2 分区配置 ................................................................................................. 177

5.3.3 分区索引 ................................................................................................. 180

5.3.4 多维分区 ................................................................................................. 181

5.4 分布式事务 .......................................................................................................... 183

5.4.1 事务日志 ................................................................................................. 184

5.4.2 二阶段提交 ............................................................................................. 186

5.4.3 隔离级别 ................................................................................................. 188

5.4.4 事务配置 ................................................................................................. 191

5.5 数据模型 .............................................................................................................. 195

5.5.1 数据模型概述 ......................................................................................... 195

5.5.2 文档记录 ................................................................................................. 199

5.5.3 集合 ......................................................................................................... 201

5.5.4 集合空间 ................................................................................................. 201

5.5.5 大对象 ..................................................................................................... 204

5.5.6 索引 ......................................................................................................... 208

5.5.7 全文索引 ................................................................................................. 212

5.5.8 序列 ......................................................................................................... 218

5.6 时间序列 .............................................................................................................. 225

5.6.1 逻辑时间 ................................................................................................. 226

5.6.2 工具 ......................................................................................................... 226

第 6章进阶使用与运维 ................................................................................................ 237

6.1 数据迁移 .............................................................................................................. 237

6.1.1 从 CSV 文件迁移至 SequoiaDB ............................................................ 238

6.1.2 从 JSON 文件迁移至 SequoiaDB ........................................................... 240

6.1.3 实时的第三方数据复制 ......................................................................... 241

6.1.4 数据导出 ................................................................................................. 248

6.2 版本升级 .............................................................................................................. 253

6.2.1 兼容性列表 ............................................................................................. 254

6.2.2 离线升级 ................................................................................................. 255

6.2.3 滚动升级 ................................................................................................. 256

6.3 扩容/缩容 ............................................................................................................. 257

6.3.1 新增服务器 ............................................................................................. 257

6.3.2 在服务器内新增节点 ............................................................................. 258

6.3.3 集群服务器的缩容 ................................................................................. 262

6.3.4 集群服务器内节点的缩容 ..................................................................... 266

6.4 备份与恢复 .......................................................................................................... 268

6.4.1 备份与恢复的原理 ................................................................................. 268

6.4.2 数据的备份 ............................................................................................. 270

6.4.3 数据的恢复 ............................................................................................. 271

6.4.4 日志归档 ................................................................................................. 275

6.5 数据库的监控 ...................................................................................................... 277

6.5.1 监控节点 ................................................................................................. 277

6.5.2 监控集群 ................................................................................................. 278

6.5.3 监控工具 sdbtop ...................................................................................... 280

6.6 高可用性与容灾 .................................................................................................. 288

6.6.1 同城双中心部署 ..................................................................................... 289

6.6.2 两地三中心部署 ..................................................................................... 303

6.6.3 三地五中心部署 ..................................................................................... 304

6.6.4 容灾工具的使用 ..................................................................................... 306

6.7 故障诊断 .............................................................................................................. 325

6.7.1 热点问题的处理 ..................................................................................... 325

6.7.2 因 CPU 占用率过高所导致的读/写延迟增加及其相应的处理方法 ..... 332

6.7.3 磁盘 I/O 负载过高及其相应的处理方法 .............................................. 335

6.8 性能调优 .............................................................................................................. 336

6.8.1 性能瓶颈的诊断 ..................................................................................... 337

6.8.2 集群性能的监控 ..................................................................................... 339

第 7章工具和生态 ....................................................................................................... 343

7.1 数据管理工具 ...................................................................................................... 343

7.2 SAC ...................................................................................................................... 344

7.3 SequoiaDB Cloud 多云管理平台 ........................................................................ 344

7.4 巨杉生态社区 ...................................................................................................... 345

7.4.1 巨杉学的目标 ......................................................................................... 345

7.4.2 巨杉学的优势 ......................................................................................... 346

7.4.3 关于认证考试 ......................................................................................... 346

查看详情

SequoiaDB分布式数据库权威指南

内容简介:

作者简介:

目录: