MySQL学习笔记-优化

作为开发人员，一般优化SQL基本是从SQL语句入手的。根据网上的SQL优化说明以及自己平时的经验总结。如果有不对的，还望修改

使用EXPLAIN解析select语句

1. select_type：select查询的类型，主要是区别普通查询、联合查询和子查询等复杂查询
1. table：输出的行所引用的表
1. type：联合查询所使用的类型（这是一个比较重要的指标。）性能依次为：system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL。一般来说，查询至少达到range级别，最好是达到ref级别。
1. possible_keys：MySQL是使用哪些索引。如果为空，则表示没有使用索引，这个时候可以通过检查where条件或者建立合适的索引。
1. key：显示MySQL实际使用的键。如果没有索引被选择，键是null。
1. key_len：显示使用的键的长度。如果键是null，那么长度也是null。
1. ref：表示哪个字段或者常数和key一起被使用。
1. rows：表示需要遍历多少数据才能找到，在InnoDB上是不正确的。
1. Extra：如果是only index，表示只用索引树检索信息；如果是where used，表示使用了where条件；如果是impossible where表示用不着where，一般是查不出来的；using filesort或者using temporary的话，where和order by 的索引经常无法一起使用，如果使用where索引，那么在order by的时候，会引起using filesort。这就需要比较先过滤再排序或者是先排序再过滤。

注意常见的不太友好的值有：Using filesort, Using temporary

常见名词：
using filesort： 需要额外的一次传递，以找出使用合适的顺序检索。
using index： 从只使用索引树中的信息之间检索相应的信息。
using temporary： 为了解决查询，需要创建一个临时表来容纳结果。
ref： 对于每个来自于前面的表的行组合，所有有匹配索引值的行将从这张表中读取。
all： 全表扫描，没有使用索引。性能差。
index： 与all类似，扫描索引树。但是比all快，因为索引文件比数据文件小。
simple： 简单的查询，不需要使用union或者子查询。

尽量少用in。

当in包含的值过多的时候，系统开销是比较大的。

in和exists，not in 和not exsits的区别

select * from 表A where id in (select id from 表B)

上面sql语句相当于

select * from 表A where exists(select * from 表B where 表B.id=表A.id)

区分in和exists主要是造成了驱动顺序的改变（这是性能变化的关键），如果是exists，那么以外层表为驱动表，先被访问，如果是IN，那么先执行子查询。所以IN适合于外表大而内表小的情况；EXISTS适合于外表小而内表大的情况。
关于not in和not exists，推荐使用not exists，不仅仅是效率问题，not in可能存在逻辑问题。如何高效的写出一个替代not exists的sql语句？
原sql语句

select colname … from A表 where a.id not in (select b.id from B表)

高效的sql语句

select colname … from A表 Left join B表 on where a.id = b.id where b.id is null

取出的结果集如下图表示，A表不在B表中的数据

JOIN IN优化

LEFT JOIN A表为驱动表
INNER JOIN MySQL会自动找出那个数据少的表作用驱动表
RIGHT JOIN B表为驱动表
注意： MySQL中没有full join，可以用以下方式来解决

select * from A left join B on B.name = A.namewhere B.name is nullunion allselect * from B;

尽量使用inner join，避免left join

参与联合查询的表至少为2张表，一般都存在大小之分。如果连接方式是inner join，在没有其他过滤条件的情况下MySQL会自动选择小表作为驱动表，但是left join在驱动表的选择上遵循的是左边驱动右边的原则，即left join左边的表名为驱动表。

合理利用索引

被驱动表的索引字段作为on的限制字段。
利用小表去驱动大表

从原理图能够直观的看出如果能够减少驱动表的话，减少嵌套循环中的循环次数，以减少 IO总量及CPU运算的次数。

当使用查询单条结果的时候，使用limit 1

因为使用限制后，当查询到结果的时候，会立刻返回，不会继续遍历查询。

对经常查询的列建立索引，增快查询速度。

Join的时候，尽量使where条件的列的属性一致，因为一致的话，是可以使用索引查询的。

如果在程序中有很多JOIN查询，应该保证两个表中join的字段时被建立过索引的。这样MySQL颞部会启动优化JOIN的SQL语句的机制。注意：这些被用来JOIN的字段，应该是相同类型的。例如：如果要把 DECIMAL 字段和一个 INT 字段Join在一起，MySQL就无法使用它们的索引。对于那些STRING类型，还需要有相同的字符集才行。（两个表的字符集有可能不一样）

别用order by rand()来打乱查询顺序

如果你真的想把返回的数据行打乱了，你有N种方法可以达到这个目的。这样使用只让你的数据库的性能呈指数级的下降。这里的问题是：MySQL会不得不去执行RAND()函数（很耗CPU时间），而且这是为了每一行记录去记行，然后再对其排序。就算是你用了Limit 1也无济于事（因为要排序）

尽可能使用not null来定义列。

如果不是特殊情况，尽可能的不要使用NULL。在MYSQL中对于INT类型而言，EMPTY是0，而NULL是空值。而在Oracle中 NULL和EMPTY的字符串是一样的。NULL也需要占用存储空间，并且会使我们的程序判断时更加复杂。现实情况是很复杂的，依然会有些情况下，我们需要使用NULL值。下面摘自MySQL自己的文档： “NULL columns require additional space in the row to record whether their values are NULL. For MyISAM tables, each NULL column takes one bit extra, rounded up to the nearest byte.”

拆分大的delete和insert语句，可以分为多次执行。

如果我们需要在一个在线的网站上去执行一个大的 DELETE 或 INSERT 查询，我们需要非常小心，要避免我们的操作让我们的整个网站停止相应。因为这两个操作是会锁表的，表一锁住了，别的操作都进不来了。Apache 会有很多的子进程或线程。所以，其工作起来相当有效率，而我们的服务器也不希望有太多的子进程，线程和数据库链接，这是极大的占服务器资源的事情，尤其是内存。如果我们把我们的表锁上一段时间，比如30秒钟，那么对于一个有很高访问量的站点来说，这30秒所积累的访问进程/线程，数据库链接，打开的文件数，可能不仅仅会让我们的WEB服务Crash，还可能会让我们的整台服务器马上掛了。所以在使用时使用LIMIT 控制数量操作记录的数量

避免在where中进行null判断。

对于null的判断会导致引擎放弃使用索引而进行全表扫描。

不使用%左前缀查询和全模糊查询，这样的查询不会使用索引。

例如LIKE “%name”或者LIKE “%name%”，这种查询会导致索引失效而进行全表扫描。但是可以使用LIKE “name%”。

联合索引存在最左前缀原则。

附阿里巴巴的MySQL建表规范

（需要根据自身业务逻辑，不一定完全按照这个规范）
阿里巴巴的MySQL建表规范

(一) 建表规约

【强制】
表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsigned tinyint（ 1表示是，0表示否）。说明：任何字段如果为非负数，必须是unsigned。正例：表达逻辑删除的字段名is_deleted，1表示删除，0表示未删除。
【强制】
表名、字段名必须使用小写字母或数字，禁止出现数字开头，禁止两个下划线中间只出现数字。数据库字段名的修改代价很大，因为无法进行预发布，所以字段名称需要慎重考虑。说明：MySQL在Windows下不区分大小写，但在Linux下默认是区分大小写。因此，数据库名、表名、字段名，都不允许出现任何大写字母，避免节外生枝。正例：aliyun_admin，rdc_config，level3_name 反例：AliyunAdmin，rdcConfig，level_3_name
【强制】
表名不使用复数名词。说明：表名应该仅仅表示表里面的实体内容，不应该表示实体数量，对应于DO类名也是单数形式，符合表达习惯。
【强制】
禁用保留字，如desc、range、match、delayed等，请参考MySQL官方保留字。
【强制】
主键索引名为pk_字段名；唯一索引名为uk_字段名；普通索引名则为idx_字段名。说明：pk_ 即primary key；uk_ 即 unique key；idx_ 即index的简称。
【强制】
小数类型为decimal，禁止使用float和double。说明：float和double在存储的时候，存在精度损失的问题，很可能在值的比较时，得到不正确的结果。如果存储的数据范围超过decimal的范围，建议将数据拆成整数和小数分开存储。
【强制】
如果存储的字符串长度几乎相等，使用char定长字符串类型。
【强制】
varchar是可变长字符串，不预先分配存储空间，长度不要超过5000，如果存储长度大于此值，定义字段类型为text，独立出来一张表，用主键来对应，避免影响其它字段索引效率。
【强制】
表必备三字段：id, gmt_create, gmt_modified。说明：其中id必为主键，类型为unsigned bigint、单表时自增、步长为1。gmt_create, gmt_modified的类型均为datetime类型，前者现在时表示主动创建，后者过去分词表示被动更新。
【推荐】
表的命名最好是加上“业务名称_表的作用”。正例：alipay_task / force_project / trade_config
【推荐】
库名与应用名称尽量一致。
【推荐】
如果修改字段含义或对字段表示的状态追加时，需要及时更新字段注释。
【推荐】
字段允许适当冗余，以提高查询性能，但必须考虑数据一致。冗余字段应遵循： 1）不是频繁修改的字段。 2）不是varchar超长字段，更不能是text字段。正例：商品类目名称使用频率高，字段长度短，名称基本一成不变，可在相关联的表中冗余存储类目名称，避免关联查询。

【推荐】

单表行数超过500万行或者单表容量超过2GB，才推荐进行分库分表。说明：如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。【参考】合适的字符存储长度，不但节约数据库表空间、节约索引存储，更重要的是提升检索速度。正例：如下表，其中无符号值可以避免误存负数，且扩大了表示范围。

对象	年龄区间	类型	字节	表示范围
人	150岁之内	unsigned tinyint	1	无符号值：0到255
龟	数百岁	unsigned smallint	2	无符号值：0到65535
恐龙化石	数千万年	unsigned int	4	无符号值：0到约42.9亿
太阳	约50亿年	unsigned bigint	8	无符号值：0到约10的19次方

(二) 索引规约

【强制】
业务上具有唯一特性的字段，即使是多个字段的组合，也必须建成唯一索引。说明：不要以为唯一索引影响了insert速度，这个速度损耗可以忽略，但提高查找速度是明显的；另外，即使在应用层做了非常完善的校验控制，只要没有唯一索引，根据墨菲定律，必然有脏数据产生。
【强制】
超过三个表禁止join。需要join的字段，数据类型必须绝对一致；多表关联查询时，保证被关联的字段需要有索引。说明：即使双表join也要注意表索引、SQL性能。
【强制】
在varchar字段上建立索引时，必须指定索引长度，没必要对全字段建立索引，根据实际文本区分度决定索引长度即可。说明：索引的长度与区分度是一对矛盾体，一般对字符串类型数据，长度为20的索引，区分度会高达90%以上，可以使用count(distinct left(列名, 索引长度))/count(*)的区分度来确定。
【强制】
页面搜索严禁左模糊或者全模糊，如果需要请走搜索引擎来解决。说明：索引文件具有B-Tree的最左前缀匹配特性，如果左边的值未确定，那么无法使用此索引。
【推荐】
如果有order by的场景，请注意利用索引的有序性。order by 最后的字段是组合索引的一部分，并且放在索引组合顺序的最后，避免出现file_sort的情况，影响查询性能。正例：where a=? and b=? order by c; 索引：a_b_c 反例：索引中有范围查找，那么索引有序性无法利用，如：WHERE a>10 ORDER BY b; 索引a_b无法排序。
【推荐】
利用覆盖索引来进行查询操作，避免回表。说明：如果一本书需要知道第11章是什么标题，会翻开第11章对应的那一页吗？目录浏览一下就好，这个目录就是起到覆盖索引的作用。正例：能够建立索引的种类分为主键索引、唯一索引、普通索引三种，而覆盖索引只是一种查询的一种效果，用explain的结果，extra列会出现：using index。
【推荐】
利用延迟关联或者子查询优化超多分页场景。说明：MySQL并不是跳过offset行，而是取offset+N行，然后返回放弃前offset行，返回N行，那当offset特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过特定阈值的页数进行SQL改写。正例：先快速定位需要获取的id段，然后再关联： SELECT a.* FROM 表1 a, (select id from 表1 where 条件 LIMIT 100000,20 ) b where a.id=b.id
【推荐】
SQL性能优化的目标：至少要达到 range 级别，要求是ref级别，如果可以是consts最好。说明： 1）consts 单表中最多只有一个匹配行（主键或者唯一索引），在优化阶段即可读取到数据。 2）ref 指的是使用普通的索引（normal index）。 3）range 对索引进行范围检索。反例：explain表的结果，type=index，索引物理文件全扫描，速度非常慢，这个index级别比较range还低，与全表扫描是小巫见大巫。
【推荐】
建组合索引的时候，区分度最高的在最左边。正例：如果where a=? and b=? ，a列的几乎接近于唯一值，那么只需要单建idx_a索引即可。说明：存在非等号和等号混合判断条件时，在建索引时，请把等号条件的列前置。如：where a>? and b=? 那么即使a的区分度更高，也必须把b放在索引的最前列。
【推荐】
防止因字段类型不同造成的隐式转换，导致索引失效。
【参考】创建索引时避免有如下极端误解： 1）宁滥勿缺。认为一个查询就需要建一个索引。 2）宁缺勿滥。认为索引会消耗空间、严重拖慢更新和新增速度。 3）抵制惟一索引。认为业务的惟一性一律需要在应用层通过“先查后插”方式解决。 (三) SQL语句
【强制】
不要使用count(列名)或count(常量)来替代count()，count()是SQL92定义的标准统计行数的语法，跟数据库无关，跟NULL和非NULL无关。说明：count(*)会统计值为NULL的行，而count(列名)不会统计此列为NULL值的行。
【强制】
count(distinct col) 计算该列除NULL之外的不重复行数，注意 count(distinct col1, col2) 如果其中一列全为NULL，那么即使另一列有不同的值，也返回为0。
【强制】
当某一列的值全是NULL时，count(col)的返回结果为0，但sum(col)的返回结果为NULL，因此使用sum()时需注意NPE问题。正例：可以使用如下方式来避免sum的NPE问题：SELECT IF(ISNULL(SUM(g)),0,SUM(g)) FROM table;
【强制】
使用ISNULL()来判断是否为NULL值。说明：NULL与任何值的直接比较都为NULL。 1） NULL<>NULL的返回结果是NULL，而不是false。 2） NULL=NULL的返回结果是NULL，而不是true。 3） NULL<>1的返回结果是NULL，而不是true。
【强制】
在代码中写分页查询逻辑时，若count为0应直接返回，避免执行后面的分页语句。
【强制】
不得使用外键与级联，一切外键概念必须在应用层解决。说明：以学生和成绩的关系为例，学生表中的student_id是主键，那么成绩表中的student_id则为外键。如果更新学生表中的student_id，同时触发成绩表中的student_id更新，即为级联更新。外键与级联更新适用于单机低并发，不适合分布式、高并发集群；级联更新是强阻塞，存在数据库更新风暴的风险；外键影响数据库的插入速度。
【强制】
禁止使用存储过程，存储过程难以调试和扩展，更没有移植性。
【强制】
数据订正（特别是删除、修改记录操作）时，要先select，避免出现误删除，确认无误才能执行更新语句。
【推荐】
in操作能避免则避免，若实在避免不了，需要仔细评估in后边的集合元素数量，控制在1000个之内。
【参考】如果有全球化需要，所有的字符存储与表示，均以utf-8编码，注意字符统计函数的区别。说明： SELECT LENGTH(“轻松工作”)；返回为12 SELECT CHARACTER_LENGTH(“轻松工作”)；返回为4 如果需要存储表情，那么选择utf8mb4来进行存储，注意它与utf-8编码的区别。
【参考】 TRUNCATE TABLE 比 DELETE 速度快，且使用的系统和事务日志资源少，但TRUNCATE无事务且不触发trigger，有可能造成事故，故不建议在开发代码中使用此语句。说明：TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同。