博客

MYSQL优化原理和执行计划分析(一)

  • Post author:
  • Post category:mysql


索引基础

性能下降SQL慢执行时间长等待时间长

  1. 查询数据过多           (能不能拆，条件过滤尽量少)
  2. 关联了太多的表，太多join  （join 原理。用  A 表的每一条数据 扫描 B表的所有数据。所以尽量先过滤，IO数量大）
  3. 没有用到索引（索引针对 列 建索引。但并不可能每一列都建索引

    索引并非越多越好。当数据更新了，索引会进行调整。也会很消耗性能。

    且 mysql 并不会把所有索引都用上，只会根据其算法挑一个索引用。所以建的准很重要。）
  4. 服务器调优及各个参数设置（缓冲,线程数配置   DBA工作）

常见通用的join查询

  1. SQL执行顺序  手写
  3. SQL执行顺序   优化器 编译
  4. join图
  5. 建表语句
  6. CREATE TABLE `t_dept` (

    `id` INT(11) NOT NULL AUTO_INCREMENT,

    `deptName` VARCHAR(30) DEFAULT NULL,

    `address` VARCHAR(40) DEFAULT NULL,

    PRIMARY KEY (`id`)

    ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
  8. CREATE TABLE `t_emp` (

    `id` INT(11) NOT NULL AUTO_INCREMENT,

    `name` VARCHAR(20) DEFAULT NULL,

    `age` INT(3) DEFAULT NULL,

    `deptId` INT(11) DEFAULT NULL,

    PRIMARY KEY (`id`),

    KEY `fk_dept_id` (`deptId`)

    #CONSTRAINT `fk_dept_id` FOREIGN KEY (`deptId`) REFERENCES `t_dept` (`id`)

    ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
  9. 七中join




  10. 1 A、B两表共有

    select * from t_emp a inner join t_dept b on a.deptId = b.id;

    2 A、B两表共有+A的独有

    select * from t_emp a left join t_dept b on a.deptId = b.id;

    3 A、B两表共有+B的独有

    select * from t_emp a right join t_dept b on a.deptId = b.id;

    4 A的独有

    select * from t_emp a left join t_dept b on a.deptId = b.id where b.id is null;

    5 B的独有

    select * from t_emp a right join t_dept b on a.deptId = b.id where a.deptId is null;

    6 AB全有

    #MySQL Full Join的实现 因为MySQL不支持FULL JOIN,下面是替代方法

    #left join + union(可去除重复数据)+ right join

    SELECT * FROM t_emp A LEFT JOIN t_dept B ON A.deptId = B.id

    UNION

    SELECT * FROM t_emp A RIGHT JOIN t_dept B ON A.deptId = B.id

    这里因为要联合的缘故，不能考虑到小表驱动大表的情况。只能用right join。要保证查询出来的数字要一致。

    7 A的独有+B的独有

    * FROM t_emp A LEFT JOIN t_dept B ON A.deptId = B.id WHERE B.`id` IS NULL

    UNION

    SELECT * FROM t_emp A RIGHT JOIN t_dept B ON A.deptId = B.id WHERE A.`deptId` IS NULL;


索引简介


是什么？ 索引是数据结构



A:索引的目的在于提高查询效率，可以类比字典，

如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从下往下找到y字母，再找到剩下的sql。

如果没有索引，那么你可能需要a—-z，如果我想找到Java开头的单词呢？或者Oracle开头的单词呢？

是不是觉得如果没有索引，这个事情根本无法完成？



B:详解



在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，

这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。下图就是一种可能的索引方式示例：



左边是数据表，一共有两列七条记录，最左边的是数据记录的物理地址

为了加快Col2的查找，可以维护一个右边所示的二叉查找树，每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针，这样就可以运用二叉查找在一定的复杂度内获取到相应数据，从而快速的检索出符合条件的记录。

二叉树弊端之一：二叉树很可能会发生两边不平衡的情况。

B-TREE: (B:balance)  会自动根据两边的情况自动调节，使两端无限趋近于平衡状态。可以使性能最稳定。(myisam使用的方式)

B-TREE弊端：(插入/修改操作多时，B-TREE会不断调整平衡，消耗性能)从侧面说明了索引不是越多越好。

B+TREE:Innodb 所使用的索引


索引存储


一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的范式存储在磁盘中。


索引是什么？


我们平常所说的索引，如果没有特殊说明，都是指B树结构组织索引，其中聚集索引，次要索引，覆盖索引，聚合索引，前缀索引，唯一输液默认都是使用B+树，统称索引。还有哈希索引等等


索引优势


类似大学图书馆建数目索引，提高数据检索的效率，减低数据库IO成本


通过索引列对数据进行排序，降低数据排序的成本，降低cpu的消耗




索引劣势


实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占用空间的。


因为更新表时，mysql不仅要保存数据，还要保存一下索引文件每次更新添加了索引的字段，都会调整因为更新所带来的减脂变化后的索引信息。


索引只是提高效率的一个因素，如果你的mysql有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询语句。


mysql索引结构


BTree索引  （myisam普通索引的树结构）


【初始化介绍】

一颗b树，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），

如磁盘块1包含数据项17和35，包含指针P1、P2、P3，

P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。

真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。

非叶子节点不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。

【查找过程】

如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短（相比磁盘的IO）可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。

真实的情况是，3层的b+树可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常非常高。


B+Tree 索引  （innodb普通索引的树结构）







B+TREE 第二级的 数据并不能直接取出来，只作索引使用。在内存有限的情况下，查询效率高于 B-TREE

B-TREE 第二级可以直接取出来，树形结构比较重，在内存无限大的时候有优势。


B+Tree与B-Tree 的区别


结论在内存有限的情况下，B+TREE 永远比 B-TREE好。无限内存则后者方便

1）B-树的关键字和记录是放在一起的，叶子节点可以看作外部节点，不包含任何信息；B+树叶子节点中只有关键字和指向下一个节点的索引，记录只放在叶子节点中。(一次查询可能进行两次i/o操作)

2）在B-树中，越靠近根节点的记录查找时间越快，只要找到关键字即可确定记录的存在；而B+树中每个记录的查找时间基本是一样的，都需要从根节点走到叶子节点，而且在叶子节点中还要再比较关键字。从这个角度看B-树的性能好像要比B+树好，而在实际应用中却是B+树的性能要好些。因为B+树的非叶子节点不存放实际的数据，这样每个节点可容纳的元素个数比B-树多，树高比B-树小，这样带来的好处是减少磁盘访问次数。尽管B+树找到一个记录所需的比较次数要比B-树多，但是一次磁盘访问的时间相当于成百上千次内存比较的时间，因此实际中B+树的性能可能还会好些，而且B+树的叶子节点使用指针连接在一起，方便顺序遍历（例如查看一个目录下的所有文件，一个表中的所有记录等），这也是很多数据库和文件系统使用B+树的缘故。

思考：为什么说B+树比B-树更适合实际应用中操作系统的文件索引和数据库索引？

1) B+树的磁盘读写代价更低

B+树的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中，那么盘块所能容纳的关键字数量也越多。一次性读入内存中的需要查找的关键字也就越多。相对来说IO读写次数也就降低了。

2) B+树的查询效率更加稳定

由于非终结点并不是最终指向文件内容的结点，而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。所有关键字查询的路径长度相同，导致每一个数据的查询效率相当。


聚族索引与非聚族索引


还不理解


full-text全文索引


还不理解


Hash索引


还不理解

mysql的索引分类

主键索引

设定主键数据库会自动建立索引，innodb为单值索引

随表一起建索引：

CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),

PRIMARY KEY(id)

);

unsigned (无符号的)

使用  AUTO_INCREMENT 关键字的列必须有索引(只要有索引就行)。

CREATE TABLE customer2 (id INT(10) UNSIGNED   ,customer_no VARCHAR(200),customer_name VARCHAR(200),

PRIMARY KEY(id)

);

单独建主键索引：

ALTER TABLE customer

add PRIMARY KEY customer(customer_no);

删除建主键索引：

ALTER TABLE customer

drop PRIMARY KEY ;

修改建主键索引：

必须先删除掉(drop)原索引，再新建(add)索引

单值索引

即一个索引只包含单个列，一个列可以有多个单列索引

索引建立成哪种索引类型？

根据数据引擎类型自动选择的索引类型

除开 innodb 引擎主键默认为聚簇索引 外。 innodb 的索引都采用的 B+TREE

myisam 则都采用的 B-TREE索引

唯一索引

索引列的值必须唯一，但是允许有空值

随表一起建索引：

CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),

PRIMARY KEY(id),

KEY (customer_name),

UNIQUE (customer_no)

);

建立 唯一索引时必须保证所有的值是唯一的（除了null），若有重复数据，会报错。

单独建唯一索引：

CREATE UNIQUE INDEX idx_customer_no ON customer(customer_no);

删除索引：

DROP INDEX idx_customer_no on customer ;

复合索引

在数据库操作期间，复合索引比单值索引所需要的开销更小(对于相同的多个列建索引)

当表的行数远大于索引列的数目时可以使用复合索引

随表一起建索引：

CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),

PRIMARY KEY(id),

KEY (customer_name),

UNIQUE (customer_name),

KEY (customer_no,customer_name)

);

单独建索引：

CREATE  INDEX idx_no_name ON customer(customer_no,customer_name);

删除索引：

DROP INDEX idx_no_name  on customer ;

索引增删查语法

创建  ALTER mytable ADD  [unique] INDEX  [indexName]  ON（columnname（lenth));

删除   DROP INDEX [indexName] On mytable；

查看    SHOW  INDEX FROM table_name\G


non_unique: 是否是唯一索引  1：是   0：不是

seq_in_index:列 在索引中的 序列。针对符合索引(一个索引对应多个列)。针对同一个复合索引 按照创建复合索引时的顺序进行排序

collation:

cardinality:

sub_part:

packed:

Null:是否允许 null 值

comment:

index_comment:

使用ALTER命令


有四种方式来添加数据表的索引：

ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。

ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）。

ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。

ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。

那些情况需要建立索引

1.主键自动建立唯一索引

2.频繁作为查询条件的字段应该创建索引(where 后面的语句)

3.查询中与其他表关联的字段，外键关系建立索引


A 表关联 B 表：A join B  。  on 后面的连接条件 既 A 表查询 B 表的条件。所以 B 表被关联的字段建立索引能大大提高查询效率

因为在 join 中，join 左边的表会用每一个字段去遍历 B 表的所有的关联数据，相当于一个查询操作

4.单键/组合索引的选择问题，who？(在高并发下倾向组合索引)

5.查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度。

group by 和 order by 后面的字段有索引大大提高效率

6.查询中统计或者分组字段

哪些情况不要创建索引

1.表记录太少

2.经常增删改的表     why？提高了查询速度，同时却会降低更新表的速度。如insert update delete。因为更新表，mysql不仅要保存sql文件，还要保存索引文件

3.where条件里用不到的字段不创建索引

4.数据重复且分布平均的表字段，因此应该只为最经常查询和最经常排序的数据列简历索引。

注意，如果某个数据列包含许多重复内容，为他建立索引没有太大效果，选择性太低。

性能分析

MYSQL 常见瓶颈

CPU  ………..


EXPLAIN   执行计划


字段介绍


id


1.id           select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序


分为三种情况：

id相同，执行顺序，由上至下



id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先执行



id相同不同，同时存在


select_type

SIMPLE        简单的select查询查询中不包含子查询或者UNION

PRIMARY    查询中若包含任何复杂的子部分，最外层的查询被标记为primary

DDERIVED   在from列表中包含的子查询被标记为DERIVED（衍生），MYSQL会地柜执行这些子查询，把结果凡在临时表里

SUNQUERY  在select或where列表中包含子查询

DEPENDENT SUBQUERY 在select或where列表中包含子查询，子查询基于外层

UNCACHEABLE SUBQUERY  无法被缓存的子查询

UNION          若第二个select出现在union之后，则被标记为union；若union包含在繁荣子句的查询中，外层select被标记为                               DERIVED

UNION RESULT     从union表中获取结果的select


type


的分类


type显示的是访问类型，是较为重要的一个指标，结果值从最好到最坏依次是：

system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range(尽量保证) > index > ALL

system>const>eq_ref>ref>range>index>ALL

一般来说，得保证查询至少达到range级别，最好能达到ref。

possible_keys


显示可能应用在这张表中的索引，一个或多个。

查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询实际使用

key

实际使用的索引。如果为NULL，则没有使用索引。查询中若使用了覆盖索引，则该索引和查询的select字段重叠

这句话生涩难懂啊，什么鸡巴鬼

对比下图两个 sql 语句。和 key 的值：当查询具体某一字段时，且那个字段有索引时，key 值会显示为索引。

key_len

表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。

EXPLAIN SELECT * FROM emp WHERE emp.deptno=109 AND emp.`ename`=’AvDEjl’


如何计算

总结一下：char(30) utf8 –> key_len = 30*3 +1  表示 utf8 格式需要  *3 (跟数据类型有关)

允许为 NULL  +1  ，不允许 +0

动态类型 +2  (动态类型包括 : varchar , detail text() 截取字符窜)

第一组：key_len=deptno(int)+null + ename(varchar(20)*3+动态  =4+1+20*3+2= 67

第二组：key_len=deptno(int)+null=4+1=5

key_len字段能够帮你检查是否充分的利用上了索引

ref

显示索引的哪一列被使用了，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值

rows

rows列显示MySQL认为它执行查询时必须检查的行数。越少越好

Extra

包含不适合在其他列中显示但十分重要的额外信息

Using filesort

说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。

MySQL中无法利用索引完成的排序操作称为“文件排序

优化后，不再出现filesort的情况：(给 ename 加上了索引)


查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度

分情况：当通过前面的查询语句 筛选大部分条件后，只剩下很少的数据。using filesort 性能影响不大。需要综合考虑



Using temporary

优化前存在 using  temporary 和 using  filesort

你他妈怎么优化的? 建立索引？  在 group by 的情况下发生的。

create index idx_deptno_ename on emp(deptno,ename) 后解决

优化前存在的 using  temporary 和 using  filesort 不在，性能发生明显变化：


USING index

表示相应的select操作中使用了覆盖索引(Covering Index)，避免访问了表的数据行，效率不错！

如果同时出现using where，表明索引被用来执行索引键值的查找;

如果没有同时出现using where，表明索引只是用来读取数据而非利用索引执行查找。

索引是高效找到行的一个方法，但是一般数据库也能使用索引找到一个列的数据，因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据;当能通过读取索引就可以得到想要的数据，那就不需要读取行了。

①一个索引 ②包含了(或覆盖了)[select子句]与查询条件[Where子句]中 ③所有需要的字段就叫做覆盖索引。

上句红字理解：

select id , name from t_xxx where age=18;

有一个组合索引  idx_id_name_age_xxx 包含了(覆盖了)，id,name,age三个字段。查询时直接将建立了索引的列读取出来了，而不需要去查找所在行的其他数据。所以很高效。

(个人认为：在数据量较大，固定字段查询情况多时可以使用这种方法。)

注意：

如果要使用覆盖索引，一定要注意select列表中只取出需要的列，不可select *，

因为如果将所有字段一起做索引会导致索引文件过大，查询性能下降。



Using where

表明使用了where过滤



using join buffer


使用了连接缓存：

出现在当两个连接时

驱动表(被连接的表,left join 左边的表。inner join 中数据少的表) 没有索引的情况下。

给驱动表建立索引可解决此问题。且 type 将改变成 ref


impossible where

where子句的值总是false，不能用来获取任何元组


版权声明：本文为thedarkclouds原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Tags: