SpringBoot第37讲：SpringBoot数据库管理 - 用Liquibase对数据库管理和迁移

Liquibase是一个用于跟踪、管理和应用数据库变化的开源工具，通过日志文件(changelog)的形式记录数据库的变更(changeset)，然后执行日志文件中的修改，将数据库更新或回滚(rollback)到一致的状态。它的目标是提供一种数据库类型无关的解决方案，通过执行schema类型的文件来达到迁移。本文是SpringBoot第37讲，主要介绍 SpringBoot 与 Liquibase的集成

文章目录

SpringBoot第37讲：SpringBoot数据库管理 - 用Liquibase对数据库管理和迁移
- 1、知识准备
- - 1.1、什么是Liquibase？这类工具要解决什么问题？
  - 1.2、Liquibase有哪些概念？是如何工作的？
- 2、简单示例
- - 2.1、POM依赖
  - 2.2、yml配置
  - 2.3、新增changelog
  - 2.4、测试
- 3、进一步理解
- - 3.1、比较好的changelog的实践？
  - 3.2、除了addColumn, addTable还有哪些changeType呢？
- 4、示例源码

1、知识准备

需要理解什么是Liquibase，它的出现是要解决什么问题。

1.1、什么是Liquibase？这类工具要解决什么问题？

Liquibase是一个用于用于跟踪、管理和应用数据库变化的开源工具，通过日志文件(changelog)的形式记录数据库的变更(changeset)，然后执行日志文件中的修改，将数据库更新或回滚(rollback)到一致的状态。它的目标是提供一种数据库类型无关的解决方案，通过执行schema类型的文件来达到迁移。

其优点主要有以下：

支持几乎所有主流的数据库，目前支持包括 Oracle/Sql Server/DB2/MySql/Sybase/PostgreSQL等各种数据库，这样在数据库的部署和升级环节可帮助应用系统支持多数据库；
支持版本控制，这样就能支持多开发者的协作维护；
日志文件支持多种格式，如XML, YAML, JSON, SQL等；
提供变化应用的回滚功能，可按时间、数量或标签（tag）回滚已应用的变化。通过这种方式，开发人员可轻易的还原数据库在任何时间点的状态
支持多种运行方式，如命令行、Spring集成、Maven插件、Gradle插件等。

为何会出现Liquibase这类工具呢？

在实际上线的应用中，随着版本的迭代，经常会遇到需要变更数据库表和字段，必然会遇到需要对这些变更进行记录和管理，以及回滚等等；同时只有脚本化且版本可管理，才能在让数据库实现真正的DevOps（自动化执行 + 回滚等）。在这样的场景下Liquibase等工具的出现也就成为了必然。

1.2、Liquibase有哪些概念？是如何工作的？

工作流程：将SQL变更记录到changeset，多个changeset变更组成了日志文件(changelog)，liquibase将changelog更新日志文件同步到指定的RDBMS中。

日志文件(databaseChangeLog)支持多种格式，如XML, YAML, JSON, SQL; 我们以xml为例，看下相关配置

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog
	xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xmlns:ext="http://www.liquibase.org/xml/ns/dbchangelog-ext"
	xmlns:pro="http://www.liquibase.org/xml/ns/pro"
	xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
		http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.9.0.xsd
		http://www.liquibase.org/xml/ns/dbchangelog-ext http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-ext.xsd
		http://www.liquibase.org/xml/ns/pro http://www.liquibase.org/xml/ns/pro/liquibase-pro-4.9.0.xsd">
    <changeSet id="1" author="bob">
        <comment>A sample change log</comment>
        <createTable/>
    </changeSet>
    <changeSet id="2" author="bob" runAlways="true">
        <alterTable/>
    </changeSet>
    <changeSet id="3" author="alice" failOnError="false" dbms="oracle">
        <alterTable/>
    </changeSet>
    <changeSet id="4" author="alice" failOnError="false" dbms="!oracle">
        <alterTable/>
    </changeSet>
</databaseChangeLog>

2、简单示例

这里主要介绍基于 SpringBoot 集成 liquibase 来管理数据库的变更。

2.1、POM依赖

Maven 包的依赖，主要包含mysql驱动, JDBC(这里spring-boot-starter-data-jpa包含了jdbc包，当然直接引入jdbc包也行)，以及liquibase包。

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.28</version>
</dependency>
<dependency>
    <groupId>com.github.wenhao</groupId>
    <artifactId>jpa-spec</artifactId>
    <version>3.1.0</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>

<dependency>
    <groupId>org.liquibase</groupId>
    <artifactId>liquibase-core</artifactId>
    <version>4.9.1</version>
</dependency>

2.2、yml配置

SpringBoot AutoConfig默认已经包含了对liquibase的配置，在spring.liquibase配置下。

基础的配置，可以直接使用如下（主要是指定change-log的位置，默认的位置是classpath:/db/changelog/db.changelog-master.yaml）：

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/db_user_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8
    driver-class-name: com.mysql.cj.jdbc.Driver
    username: root
    password: qwj930828
  liquibase:
    enabled: true
    # 如下配置是被spring.datasource赋值的，所以可以不配置
#    url: jdbc:mysql://localhost:3306/db_user_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8
#    user: root
#    password: qwj930828
    change-log: classpath:/db/changelog/db.changelog-master.yaml

在开发时，更多的配置可以从如下SpringBoot AutoConfig中找到。

在这里插入图片描述

2.3、新增changelog

XML方式固然OK，不过依然推荐使用yml格式。

databaseChangeLog:
  - changeSet:
      id: 20220412-01
      author: qiwenjie
      changes:
        - createTable:
            tableName: person
            columns:
              - column:
                  name: id
                  type: int
                  autoIncrement: true
                  constraints:
                    primaryKey: true
                    nullable: false
              - column:
                  name: firstname
                  type: varchar(50)
              - column:
                  name: lastname
                  type: varchar(50)
                  constraints:
                    nullable: false
              - column:
                  name: state
                  type: char(2)

  - changeSet:
      id: 20220412-02
      author: qiwenjie
      changes:
        - addColumn:
            tableName: person
            columns:
              - column:
                  name: username
                  type: varchar(8)

  - changeSet:
      id: 20220412-03
      author: qiwenjie
      changes:
        - addLookupTable:
            existingTableName: person
            existingColumnName: state
            newTableName: state
            newColumnName: id
            newColumnDataType: char(2)

2.4、测试

启动springBootApplication, 我们可以看到如下的几个changeSet被依次执行

2023-08-13 15:23:34.075  INFO 73868 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock
2023-08-13 15:23:34.288  INFO 73868 --- [           main] liquibase.changelog                      : Creating database history table with name: db_user_liquibase.DATABASECHANGELOG
2023-08-13 15:23:34.320  INFO 73868 --- [           main] liquibase.changelog                      : Reading from db_user_liquibase.DATABASECHANGELOG
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-01::qiwenjie
2023-08-13 15:23:34.548  INFO 73868 --- [           main] liquibase.changelog                      : Table person created
2023-08-13 15:23:34.549  INFO 73868 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-01::qiwenjie ran successfully in 24ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-02::qiwenjie
2023-08-13 15:23:34.572  INFO 73868 --- [           main] liquibase.changelog                      : Columns username(varchar(8)) added to person
2023-08-13 15:23:34.572  INFO 73868 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-02::qiwenjie ran successfully in 18ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-03::qiwenjie
2023-08-13 15:23:34.651  INFO 73868 --- [           main] liquibase.changelog                      : Lookup table added for person.state
2023-08-13 15:23:34.652  INFO 73868 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-03::qiwenjie ran successfully in 77ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-04::qiwenjie
2023-08-13 15:23:34.681  INFO 73868 --- [           main] liquibase.changelog                      : SQL in file classpath:/db/changelog/db.changelog-20220412-04.sql executed
2023-08-13 15:23:34.681  INFO 73868 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-04::qiwenjie ran successfully in 26ms
2023-08-13 15:23:34.685  INFO 73868 --- [           main] liquibase.lockservice                    : Successfully released change log lock

查看数据库，你会发现数据已经变更

在这里插入图片描述

那我们如果重新启动这个SpringBootApplication，会怎么呢？

很显然，因为databasechangelog表中已经有相关执行记录了，所以将不再执行变更

2023-08-13 16:53:56.248  INFO 77591 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock
2023-08-13 16:53:56.575  INFO 77591 --- [           main] liquibase.changelog                      : Reading from db_user_liquibase.DATABASECHANGELOG
2023-08-13 16:53:56.642  INFO 77591 --- [           main] liquibase.lockservice                    : Successfully released change log lock

3、进一步理解

通过几个问题，进一步理解。

3.1、比较好的changelog的实践？

简单而言：yml格式 + sql-file方式

执行sqlFile格式的changeSet，如下

在这里插入图片描述

执行的日志如下

2023-08-13 15:23:34.075  INFO 73868 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock
2023-08-13 15:23:34.320  INFO 73868 --- [           main] liquibase.changelog                      : Reading from db_user_liquibase.DATABASECHANGELOG
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-01::qiwenjie
2023-08-13 15:23:34.681  INFO 73868 --- [           main] liquibase.changelog                      : SQL in file classpath:/db/changelog/db.changelog-20220412-04.sql executed
2023-08-13 15:23:34.681  INFO 73868 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-04::qiwenjie ran successfully in 26ms
2023-08-13 15:23:34.685  INFO 73868 --- [           main] liquibase.lockservice                    : Successfully released change log lock

执行后，查看变更记录

在这里插入图片描述

数据表user表已经创建并插入一条数据

在这里插入图片描述

3.2、除了addColumn, addTable还有哪些changeType呢？

除了addColumn,addTable还有哪些changeType呢?

与此同时，还支持如下changeType：

此外，还支持执行command

changeSet:  
  id:  executeCommand-example
  author:  liquibase-docs
  changes:
  -  executeCommand:
      args:
      -  arg:
          value:  -out
      -  arg:
          value:  -param2
      executable:  mysqldump
      os:  Windows 7
      timeout: 10s