在JavaWeb阶段,我们初步认识了MySQL数据库,包括一些基本操作,比如创建数据库、表、触发器,以及最基本的增删改查、事务等操作。而在此阶段,我们将继续深入学习MySQL,了解它的更多高级玩法,也相当于进行复习。
其实函数我们在之前已经接触到一部分了,在JavaWeb阶段,我们了解了聚集函数,聚集函数一般用作统计,包括:
比如我们需要计算某个表一共有多少行:
SELECT COUNT(*) FROM student
通过使用COUNT聚集函数,就可以快速统计并得到结果,比如我们想计算某一列上所有数字的和:
SELECT SUM(sid) FROM student
通过SUM聚集函数,就可以快速计算每一列的和,实际上这些函数都是由系统提供的函数,我们可以直接使用。
本版块我们会详细介绍各类系统函数以及如何编写自定义函数。
系统为我们提供的函数也是非常实用的,我们将会分为几个类型进行讲解。
处理字符串是一个比较重要的内容,我们可以使用字符串函数来帮助我们快速处理字符串,其中常用比如用于字符串分割的函数有:
比如我们只想获取所有学生姓名的第二个字,那么可以像这样写:
SELECT SUBSTRING(name, 2, 2) FROM student
比如我们想获取所有学生姓名的第一个字,可以像这样写:
SELECT LEFT(name, 1) FROM student
我们还可以利用字符串函数来快速将所有的字母转换为大写字母或是快速转换为小写字母:
比如我们希望将一个字符串所有字符专为大写:
SELECT UPPER('abcdefg')
我们也可以像Java中那样直接对字符串中的内容进行替换:
比如现在我们希望将查询到的所有同学的名称中的小
全部替换大
:
SELECT REPLACE(`name`, '小', '大') FROM student
字符串也支持进行拼接,系统提供了字符串的拼接函数:
比如我们希望将查询到的所有同学的名称最后都添加一个子
字:
SELECT concat(name, '子') FROM student
最后就是计算字符串的长度:
比如我们要获取所有人名字的长度:
SELECT LENGTH(`name`) FROM student
MySQL提供的日期函数也非常实用,我们可以快速对日期进行操作,比如我们想要快速将日期添加N天,就可以使用:
比如我们希望让2022-1-1向后5天:
SELECT DATE_ADD('2022-1-1',INTERVAL 5 day)
同理,向前1年:
SELECT DATE_ADD('2022-1-1',INTERVAL -1 year)
单位有:year(年)、month(月)、day(日)、hour(小时)、minute(分钟)、second(秒)
我们还可以快速计算日期的间隔天数:
比如我们想计算2022年的2月有多少天:
SELECT DATEDIFF('2022-3-1','2022-2-1')
如果我们想快速获取当前时间的话,可以使用这些:
此函数之前我们在编写实战项目的时候已经使用过了,这里就不演示了。我们也可以单独获取时间中的某个值:
比如我们想获取今天是几号:
SELECT DAY(NOW())
数学函数比较常规,基本与Java的Math工具类一致,这里列出即可,各位可以自行尝试:
MySQL的类型转换也分为隐式类型转换和显示类型转换,首先我们来看看隐式类型转换:
SELECT 1+'2'
虽然这句中既包含了数字和字符,但是字符串会被进行隐式转换(注意这里并不是按照字符的ASCII码转换,而是写的多少表示多少)所以最后得到的就是1+2的结果为3
SELECT CONCAT(1, '2')
这里因为需要传入字符串类型的数据,但是我们给的是1这个数字,因此这里也会发生隐式类型转换,1会被直接转换为字符串的'1',所以这里得到的结果是'12'
在某些情况下,我们可能需要使用强制类型转换来将得到的数据转换成我们需要的数据类型,这时就需要用到类型转换函数了,MySQL提供了:
数据类型有以下几种:
比如我们现在需要将一个浮点数转换为一个整数:
SELECT CAST(pi() AS SIGNED)
我们还可以将字符串转换为数字,会自动进行扫描,值得注意的是一旦遇到非数字的字符,会停止扫描:
SELECT CAST('123abc456' as SIGNED)
除了cast以外还有convert函数,功能比较相似,这里就不做讲解了。
MySQL还为我们提供了很多的逻辑判断函数,比如:
比如现在我们想判断:
SELECT IF(1 < 0,'lbwnb','yyds')
通过判断函数,我们就可以很方便地进行一些条件判断操作。
除了IF条件判断,我们还可以使用类似Switch一样的语句完成多分支结构:
SELECT
CASE 2
WHEN 1 THEN
10
ELSE
5
END;
我们也可以将自定义的判断条件放入When之后,它类似于else-if:
SELECT
CASE
WHEN 3>5 THEN
10
WHEN 0<1 THEN
11
ELSE
5
END;
还有一个类似于Java中的Thread.sleep的函数,以秒为单位:
SELECT sleep(10);
有关MySQL8.0新增的窗口函数这里暂时不做介绍。
除了使用系统为我们提供的函数以外,我们也可以自定义函数,并使用我们自定义的函数进行数据处理,唯一比较麻烦的就是函数定义后不能修改,只能删了重新写。
MySQL的函数与Java中的方法类似,也可以添加参数和返回值,可以通过CREATE FUNCTION
创建函数:
CREATE FUNCTION test() RETURNS INT
BEGIN
RETURN 666;
END
定义函数的格式为:
{ ... }
添加参数也很简单,我们只需要在函数名称括号中添加即可,注意类型需要写在参数名称后面:
CREATE FUNCTION test(i INT) RETURNS INT
BEGIN
RETURN i * i;
END
我们可以在BEGIN和RETURN之间编写一些其他的逻辑,比如我们想要定义一个局部变量,并为其赋值:
BEGIN
DECLARE a INT;
SET a = 10;
RETURN i * i * a;
END
定义局部变量的格式为:
为变量赋值的格式为:
我们还可以在函数内部使用select
语句,它可以直接从表中读取数据,并可以结合into关键字将查询结果赋值给变量:
BEGIN
DECLARE a INT;
-- select into from 语句
SELECT COUNT(*) INTO a FROM student;
RETURN a;
END
接着我们来看一下如何使用流程控制语句,其中最关键的就是IF判断语句:
BEGIN
DECLARE a INT DEFAULT 10;
IF a > 10 THEN
RETURN 1;
ELSE
RETURN 2;
END IF;
END
IF分支语句的格式为:
我们可以结合exists
关键字来判断是否为NULL:
BEGIN
DECLARE a INT DEFAULT 0;
-- IF EXISTS(SELECT * FROM student WHERE sid = 100) THEN
IF NOT EXISTS(SELECT * FROM student WHERE sid = 100) THEN
SET a = 10;
END IF;
RETURN a;
END
我们也可以在函数中使用switch语句:
BEGIN
DECLARE a INT DEFAULT 10;
CASE a
WHEN 10 THEN
RETURN 2;
ELSE
RETURN 1;
END CASE;
END
SWITCH分支语句的格式为:
与Java不同的是,它支持使用布尔表达式:
BEGIN
DECLARE a INT DEFAULT 10;
CASE
WHEN 1 < 5 THEN
SET a = 5;
ELSE
SET a = 10;
END CASE;
RETURN a;
END
我们以类似于elseif的形式进行判断,其实和上面直接使用是一样的。
我们接着来看循环语句,MySQL提供了三种循环语句,其中第一种是WHILE语句:
BEGIN
DECLARE a INT DEFAULT 10;
WHILE a < 11 DO
SET a = a + 1;
END WHILE;
RETURN a;
END
格式为:
我们接着来看第二种循环语句,LOOP循环:
BEGIN
DECLARE a INT DEFAULT 10;
lp1: LOOP
SET a = a - 1;
IF a = 0 THEN
LEAVE lp1;
END IF;
END LOOP lp1;
RETURN a;
END
相比while语句,我们可以使用LEAVE
精准控制结束哪个循环,有点类似于goto语句:
BEGIN
DECLARE a INT DEFAULT 0;
lp1: LOOP
lp2: LOOP
SET a = a + 1;
IF a > 5 THEN
LEAVE lp1;
END IF;
END LOOP lp2;
END LOOP lp1;
RETURN a;
END
类似于Java中的goto写法(在JavaSE阶段已经讲解过):
public static void main(String[] args) {
int a = 0;
lp1: while (true){
lp2: while (true){
a++;
if(a > 5) break lp1;
}
}
System.out.println(a);
}
它的语法格式如下:
接着我们来看最后一种循环语句,repeat语句:
BEGIN
DECLARE a INT DEFAULT 0;
REPEAT
SET a = a + 1;
UNTIL a > 0 END REPEAT;
RETURN a;
END
它类似于Java中的do-while循环语句,它会先去执行里面的内容,再进行判断,格式为:
某些情况下,我们可以直接在一次会话中直接定义变量并使用,这时它并不是位于函数内的,这就是全局变量,它无需预先定义,直接使用即可:
set @x = 10;
我们可以将全局变量作为参数传递给函数:
select test(@x);
除了我们自己定义的全部变量以外,系统默认也有很多的变量,因此我们自己定义的变量称为用户变量,系统默认变量称为系统变量。查看系统变量的命令为:
show GLOBAL VARIABLES
存储过程是一个包括多条SQL语句的集合,专用于特定表的特定操作,比如我们之前实战项目中的创建用户,那么我们就需要一次性为两张表添加数据,但是如果不使用Java,而是每次都去使用SQL命令来完成,就需要手动敲两次命令,非常麻烦,因此我们可以提前将这些操作定义好,预留出需要填写数据的位置,下次输入参数直接调用即可。
这里很容易与函数搞混淆,存储过程也是执行多条SQL语句,但是它们的出发点不一样,函数是专用于进行数据处理,并将结果返回给调用者,它更多情况下是一条SQL语句的参与者,无法直接运行,并且不涉及某个特定表:
select count(*) from student;
而存储过程是多条SQL语句的执行者,这是它们的本质区别。
定义存储过程与定义函数极为相似,它也可以包含参数,函数中使用的语句这里也能使用,但是它没有返回值:
CREATE PROCEDURE lbwnb(`name` VARCHAR(20), pwd VARCHAR(255))
BEGIN
INSERT INTO users(username, `password`) VALUES(`name`, pwd);
END
我们可以在存储过程中编写多条SQL语句,但是注意,MySQL的存储过程不具有原子性,当出现错误时,并不会回滚之前的操作,因此需要我们自己来编写事务保证原子性。
接着我们来看看如何执行存储过程:
CALL lbwnb('111', '2222')
通过使用call
来执行一个存储过程,如果存储过程有参数,那么还需要填写参数。
比如现在我们想要实现查询用户表,如果包含用户test
那么就删除用户,如果不包含,就添加用户:
CREATE PROCEDURE `lbwnb`()
BEGIN
IF NOT EXISTS(SELECT * FROM users WHERE username = 'test') THEN
INSERT INTO users(username, `password`) VALUES('test', '123456');
ELSE
DELETE FROM users WHERE username = 'test';
END IF;
END
这里其实只需要一个简单的IF判断即可实现。
那么如果我们希望遍历一个SELECT语句查询的结果呢?我们可以使用游标来完成:
BEGIN
DECLARE id INT;
DECLARE `name` VARCHAR(10);
DECLARE sex VARCHAR(5);
DECLARE cur CURSOR FOR SELECT * FROM student;
OPEN cur;
WHILE TRUE DO
FETCH cur INTO id, `name`, sex;
SELECT id, `name`, sex;
END WHILE;
CLOSE cur;
END
游标的使用分为4个步骤:
我们这里利用了一个while循环来多次通过游标获取查询结果,但是最后是因为出现异常才退出的,这样会导致之后的代码就无法继续正常运行了。
我们接着来看如何处理异常:
BEGIN
DECLARE id INT;
DECLARE `name` VARCHAR(10);
DECLARE sex VARCHAR(5);
DECLARE score INT;
DECLARE a INT DEFAULT 0;
DECLARE cur CURSOR FOR SELECT * FROM student;
-- 必须在游标定义之后编写
DECLARE CONTINUE HANDLER FOR 1329 SET a = 1;
OPEN cur;
WHILE a = 0 DO
FETCH cur INTO id, `name`, sex, score;
SELECT id, `name`, sex, score;
END WHILE;
CLOSE cur;
SELECT 1;
END
我们可以声明一个异常处理器(句柄),格式如下:
我们还可以限定存储过程的参数传递,比如我们只希望用户给我们一个参数用于接收数据,而不是值传递,我们可以将其设定为OUT类型:
CREATE PROCEDURE `lbwnb`(OUT a INT)
BEGIN
SELECT a;
SET a = 100;
END
所有的参数默认为IN
类型,也就是只能作为传入参数,无法为其赋值,而这里讲参数设定为OUT
类型,那么参数无法将值传入,而只能被赋值。
如果我们既希望参数可以传入也可以被重新赋值,我们可以将其修改为INOUT
类型。
存储引擎就像我们电脑中的CPU,它是整个MySQL最核心的部分,数据库中的数据如何存储,数据库能够支持哪些功能,我们的增删改查请求如何执行,都是由存储引擎来决定的。
我们可以大致了解一下以下三种存储引擎:
我们可以使用下面的命令来查看MySQL支持的存储引擎:
show engines;
在创建表时,我们也可以为表指定其存储引擎。
我们还可以在配置文件中修改默认的存储引擎,在Windows 11系统下,MySQL的配置文件默认放在C:\ProgramData\MySQL\MySQL Server 5.7
中,注意ProgramData是个隐藏文件夹。
注意: 本小节会涉及数据结构与算法
相关知识。
索引就好像我们书的目录,每本书都有一个目录用于我们快速定位我们想要的内容在哪一页,索引也是,通过建立索引,我们就可以根据索引来快速找到想要的一条记录,大大提高查询效率。
本版块我们会详细介绍索引的几种类型,以及索引的底层存储原理。
单列索引只针对于某一列数据创建索引,单列索引有以下几种类型:
like %
更高,并且它还支持多种匹配方式,灵活性也更加强大。只有字段的数据类型为 char、varchar、text 及其系列才可以建全文索引。我们来看看如何使用全文索引,首先创建一张用于测试全文索引的表:
CREATE TABLE articles (
id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
title VARCHAR(200),
body TEXT,
FULLTEXT (body));
INSERT INTO articles VALUES
(NULL,'MySQL Tutorial', 'DBMS stands for DataBase ...'),
(NULL,'How To Use MySQL Efficiently', 'After you went through a ...'),
(NULL,'Optimising MySQL','In this tutorial we will show ...'),
(NULL,'1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
(NULL,'MySQL vs. YourSQL', 'In the following database comparison ...'),
(NULL,'MySQL Security', 'When configured properly, MySQL ...');
最后我们使用全文索引进行模糊匹配:
SELECT * FROM articles WHERE MATCH (body) AGAINST ('database');
注意全文索引如何定义字段的,match中就必须是哪些字段,against中定义需要模糊匹配的字符串,我们用作查找的字符串实际上是被分词之后的结果,如果进行模糊匹配的不是一个词语,那么会查找失败,但是它的效率远高于以下这种写法:
SELECT * FROM articles WHERE body like '%database%';
组合索引实际上就是将多行捆绑在一起,作为一个索引,它同样支持以上几种索引类型,我们可以在Navicat中进行演示。
注意组合索引在进行匹配时,遵循最左原则。
我们可以使用explain
语句(它可以用于分析select语句的执行计划,也就是MySQL到底是如何在执行某条select语句的)来分析查询语句到底有没有通过索引进行匹配。
explain select * from student where name = '小王';
得到的结果如下:
在了解完了索引的类型之后,我们接着来看看索引是如何实现的。
既然我们要通过索引来快速查找内容,那么如何设计索引就是我们的重点内容,因为索引是存储在硬盘上的,跟我们之前使用的HashMap之类的不同,它们都是在内存中的,但是硬盘的读取速度远小于内存的速度,每一次IO操作都会耗费大量的时间,我们也不可能把整个磁盘上的索引全部导入内存,因此我们需要考虑尽可能多的减少IO次数,索引的实现可以依靠两种数据结构,一种是我们在JavaSE阶段已经学习过的Hash表,还有一种就是B-Tree。
我们首先来看看哈希表,实际上就是计算Hash值来快速定位:
通过对Key进行散列值计算,我们可以直接得到对应数据的存放位置,它的查询效率能够达到O(1),但是它也存在一定的缺陷:
那么,既然要解决这些问题,我们还有一种方案就是使用类似于二叉树那样的数据结构来存储索引,但是这样相比使用Hash索引,会牺牲一定的读取速度。
但是这里并没有使用二叉树,而是使用了BTree,它是专门为磁盘数据读取设计的一种度为n的查找树:
树中每个结点最多含有m个孩子(m >= 2)
除根结点和叶子结点外,其它每个结点至少有[ceil(m / 2)]个孩子。
若根结点不是叶子结点,则至少有2个孩子。
所有叶子结点都出现在同一层。
每个非终端结点中包含有n个键值信息: (P1,K1,P2,K2,P3,......,Kn,Pn+1)。其中:
比如现在我们要对键值为10的记录进行查找,过程如下:
我们接着来看,虽然BTree能够很好地利用二叉查找树的思想大幅度减少查找次数,但是它的查找效率还是很低,因此它的优化版本B+Tree诞生了,它拥有更稳定的查询效率和更低的IO读取次数:
我们可以发现,它和BTree有一定的区别:
这样,读取IO的时间相比BTree就减少了很多,并且查询任何键值信息都需要完整地走到叶子节点,保证了查询的IO读取次数一致。因此MySQL默认选择B+Tree作为索引的存储数据结构。
这是MyISAM存储引擎下的B+Tree实现:
这是InnoDB存储引擎下的B+Tree实现:
InnoDB与MyISAM实现的不同之处:
在JavaSE的学习中,我们在多线程板块首次用到了锁机制,当我们对某个方法或是某个代码块加锁后,除非锁的持有者释放当前的锁,否则其他线程无法进入此方法或是代码块,我们可以利用锁机制来保证多线程之间的安全性。
在MySQL中,就很容易出现多线程同时操作表中数据的情况,如果要避免潜在的并发问题,那么我们可以使用之前讲解的事务隔离级别来处理,而事务隔离中利用了锁机制。
我们可以切换隔离级别分别演示一下:
set session transaction isolation level read uncommitted;
在RR级别下,MySQL在一定程度上解决了幻读问题:
MVCC
,全称Multi-Version Concurrency Control
,即多版本并发控制。MVCC 是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存。
从对数据的操作类型上来说,锁分为读锁和写锁:
从锁的作用范围上划分,分为全局锁、表锁和行锁:
我们首先来看全局锁,它作用于整个数据库,我们可以使用以下命令来开启读全局锁:
flush tables with read lock;
开启后,整个数据库被上读锁,我们只能去读取数据,但是不允许进行写操作(包括更新、插入、删除等)一旦执行写操作,会被阻塞,直到锁被释放,我们可以使用以下命令来解锁:
unlock tables;
除了手动释放锁之外,当我们的会话结束后,锁也会被自动释放。
表锁作用于某一张表,也是MyISAM和InnoDB存储引擎支持的方式,我们可以使用以下命令来为表添加锁:
lock table 表名称 read/write;
在我们为表添加写锁后,我们发现其他地方是无法访问此表的,一律都被阻塞。
表锁的作用范围太广了,如果我们仅仅只是对某一行进行操作,那么大可不必对整个表进行加锁,因此InnoDB
支持了行锁,我们可以使用以下命令来对某一行进行加锁:
-- 添加读锁(共享锁)
select * from ... lock in share mode;
-- 添加写锁(排他锁)
select * from ... for update;
使用InnoDB的情况下,在执行更新、删除、插入操作时,数据库也会自动为所涉及的行添加写锁(排他锁),直到事务提交时,才会释放锁,执行普通的查询操作时,不会添加任何锁。使用MyISAM的情况下,在执行更新、删除、插入操作时,数据库会对涉及的表添加写锁,在执行查询操作时,数据库会对涉及的表添加读锁。
提问: 当我们不使用id进行选择,行锁会发生什么变化?(行锁升级)
我们知道InnoDB支持使用行锁,但是行锁比较复杂,它可以继续分为多个类型。
(Record Locks)记录锁, 仅仅锁住索引记录的一行,在单条索引记录上加锁。Record lock锁住的永远是索引,而非记录本身,即使该表上没有任何索引,那么innodb会在后台创建一个隐藏的聚集主键索引,那么锁住的就是这个隐藏的聚集主键索引。所以说当一条sql没有走任何索引时,那么将会在每一条聚合索引后面加写锁,这个类似于表锁,但原理上和表锁应该是完全不同的。
(Gap Locks)仅仅锁住一个索引区间(开区间,不包括双端端点)。在索引记录之间的间隙中加锁,或者是在某一条索引记录之前或者之后加锁,并不包括该索引记录本身。比如在 1、2中,间隙锁的可能值有 (-∞, 1),(1, 2),(2, +∞),间隙锁可用于防止幻读,保证索引间的不会被插入数据。
(Next-Key Locks)Record lock + Gap lock,左开右闭区间。默认情况下,InnoDB
正是使用Next-key Locks来锁定记录(如select … for update语句)它还会根据场景进行灵活变换:
场景 | 转换 |
---|---|
使用唯一索引进行精确匹配,但表中不存在记录 | 自动转换为 Gap Locks |
使用唯一索引进行精确匹配,且表中存在记录 | 自动转换为 Record Locks |
使用非唯一索引进行精确匹配 | 不转换 |
使用唯一索引进行范围匹配 | 不转换,但是只锁上界,不锁下界 |