数据库对象事件与本性总结,performance_schema全方位介绍

|
/data/mysqldata1/mydata/mysql/help_topic.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

MIN_TIMER_WAIT: 0

MySQL Performance-Schema(二) 理论篇,performanceschema

     MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Event表Statement
Event表,Connection表和Summary表。上一篇文章已经着重讲了Setup表,这篇文章将会分别就每种类型的表做详细的描述。

Instance表
   
 instance中主要包含了5张表:cond_instances,file_instances,mutex_instances,rwlock_instances和socket_instances。
(1)cond_instances:条件等待对象实例
表中记录了系统中使用的条件变量的对象,OBJECT_INSTANCE_BEGIN为对象的内存地址。比如线程池的timer_cond实例的name为:wait/synch/cond/threadpool/timer_cond

(2)file_instances:文件实例
表中记录了系统中打开了文件的对象,包括ibdata文件,redo文件,binlog文件,用户的表文件等,比如redo日志文件:/u01/my3306/data/ib_logfile0。open_count显示当前文件打开的数目,如果重来没有打开过,不会出现在表中。

(3)mutex_instances:互斥同步对象实例
表中记录了系统中使用互斥量对象的所有记录,其中name为:wait/synch/mutex/*。比如打开文件的互斥量:wait/synch/mutex/mysys/THR_LOCK_open。LOCKED_BY_THREAD_ID显示哪个线程正持有mutex,若没有线程持有,则为NULL。

(4)rwlock_instances: 读写锁同步对象实例
表中记录了系统中使用读写锁对象的所有记录,其中name为
wait/synch/rwlock/*。WRITE_LOCKED_BY_THREAD_ID为正在持有该对象的thread_id,若没有线程持有,则为NULL,READ_LOCKED_BY_COUNT为记录了同时有多少个读者持有读锁。通过
events_waits_current
表可以知道,哪个线程在等待锁;通过rwlock_instances知道哪个线程持有锁。rwlock_instances的缺陷是,只能记录持有写锁的线程,对于读锁则无能为力。

(5)socket_instances:活跃会话对象实例
表中记录了thread_id,socket_id,ip和port,其它表可以通过thread_id与socket_instance进行关联,获取IP-PORT信息,能够与应用对接起来。
event_name主要包含3类:
wait/io/socket/sql/server_unix_socket,服务端unix监听socket
wait/io/socket/sql/server_tcpip_socket,服务端tcp监听socket
wait/io/socket/sql/client_connection,客户端socket

Wait Event表
     
Wait表主要包含3个表,events_waits_current,events_waits_history和events_waits_history_long,通过thread_id+event_id可以唯一确定一条记录。current表记录了当前线程等待的事件,history表记录了每个线程最近等待的10个事件,而history_long表则记录了最近所有线程产生的10000个事件,这里的10和10000都是可以配置的。这三个表表结构相同,history和history_long表数据都来源于current表。current表和history表中可能会有重复事件,并且history表中的事件都是完成了的,没有结束的事件不会加入到history表中。
THREAD_ID:线程ID
EVENT_ID:当前线程的事件ID,和THREAD_ID组成一个Primary Key。
END_EVENT_ID:当事件开始时,这一列被设置为NULL。当事件结束时,再更新为当前的事件ID。
SOURCE:该事件产生时的源码文件
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)

OBJECT_SCHEMA, OBJECT_NAME, OBJECT_TYPE视情况而定
对于同步对象(cond, mutex, rwlock),这个3个值均为NULL
对于文件IO对象,OBJECT_SCHEMA为NULL,OBJECT_NAME为文件名,OBJECT_TYPE为FILE
对于SOCKET对象,OBJECT_NAME为该socket的IP:SOCK值
对于表I/O对象,OBJECT_SCHEMA是表的SCHEMA名,OBJECT_NAME是表名,OBJECT_TYPE为TABLE或者TEMPORARY
TABLE
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)
OPERATION:操作类型(lock, read, write)

Stage Event表 

     
 Stage表主要包含3个表,events_stages_current,events_stages_history和events_stages_history_long,通过thread_id+event_id可以唯一确定一条记录。表中记录了当前线程所处的执行阶段,由于可以知道每个阶段的执行时间,因此通过stage表可以得到SQL在每个阶段消耗的时间。

THREAD_ID:线程ID
EVENT_ID:事件ID
END_EVENT_ID:刚结束的事件ID
SOURCE:源码位置
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)

Statement Event表
     
Statement表主要包含3个表,events_statements_current,events_statements_history和events_statements_history_long。通过thread_id+event_id可以唯一确定一条记录。Statments表只记录最顶层的请求,SQL语句或是COMMAND,每条语句一行,对于嵌套的子查询或者存储过程不会单独列出。event_name形式为statement/sql/*,或statement/com/*
SQL_TEXT:记录SQL语句
DIGEST:对SQL_TEXT做MD5产生的32位字符串。如果为consumer表中没有打开statement_digest选项,则为NULL。
DIGEST_TEXT:将语句中值部分用问号代替,用于SQL语句归类。如果为consumer表中没有打开statement_digest选项,则为NULL。
CURRENT_SCHEMA:默认的数据库名
OBJECT_SCHEMA,OBJECT_NAME,OBJECT_数据库对象事件与本性总结,performance_schema全方位介绍。TYPE:保留字段,全部为NULL
ROWS_AFFECTED:影响的数目
ROWS_SENT:返回的记录数
ROWS_EXAMINED:读取的记录数目
CREATED_TMP_DISK_TABLES:创建物理临时表数目
CREATED_TMP_TABLES:创建临时表数目
SELECT_FULL_JOIN:join时,第一个表为全表扫描的数目
SELECT_FULL_RANGE_JOIN:join时,引用表采用range方式扫描的数目
SELECT_RANGE:join时,第一个表采用range方式扫描的数目
SELECT_SCAN:join时,第一个表位全表扫描的数目
SORT_ROWS:排序的记录数目
NESTING_EVENT_ID,NESTING_EVENT_TYPE,保留字段,为NULL。

Connection表
   
 Connection表记录了客户端的信息,主要包括3张表:users,hosts和account表,accounts包含hosts和users的信息。
USER:用户名
HOST:用户的IP

Summary表
   
Summary表聚集了各个维度的统计信息包括表维度,索引维度,会话维度,语句维度和锁维度的统计信息。
(1).wait-summary表
events_waits_summary_global_by_event_name
场景:按等待事件类型聚合,每个事件一条记录。
events_waits_summary_by_instance
场景:按等待事件对象聚合,同一种等待事件,可能有多个实例,每个实例有不同的内存地址,因此
event_name+object_instance_begin唯一确定一条记录。
events_waits_summary_by_thread_by_event_name
场景:按每个线程和事件来统计,thread_id+event_name唯一确定一条记录。
COUNT_STAR:事件计数
SUM_TIMER_WAIT:总的等待时间
MIN_TIMER_WAIT:最小等待时间
MAX_TIMER_WAIT:最大等待时间
AVG_TIMER_WAIT:平均等待时间

(2).stage-summary表
events_stages_summary_by_thread_by_event_name
events_stages_summary_global_by_event_name
与前面类似

(3).statements-summary表
events_statements_summary_by_thread_by_event_name表和events_statements_summary_global_by_event_name表与前面类似。对于events_statements_summary_by_digest表,
FIRST_SEEN_TIMESTAMP:第一个语句执行的时间
LAST_SEEN_TIMESTAMP:最后一个语句执行的时间
场景:用于统计某一段时间内top SQL

(4).file I/O summary表
file_summary_by_event_name [按事件类型统计]
file_summary_by_instance [按具体文件统计]
场景:物理IO维度
FILE_NAME:具体文件名,比如:/u01/my3306/data/tcbuyer_0168/tc_biz_order_2695.ibd
EVENT_NAME:事件名,比如:wait/io/file/innodb/innodb_data_file
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_数据库对象事件与本性总结,performance_schema全方位介绍。READ,MAX_TIMER_READ,
SUM_NUMBER_OF_BYTES_READ
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,
SUM_NUMBER_OF_BYTES_WRITE
统计写
COUNT_MISC,SUM_TIMER_MISC,MIN_TIMER_MISC,AVG_TIMER_MISC,MAX_TIMER_MISC
统计其他IO事件,比如create,delete,open,close等

(5).Table I/O and Lock Wait Summaries-表
table_io_waits_summary_by_table
根据wait/io/table/sql/handler,聚合每个表的I/O操作,[逻辑IO]
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_数据库对象事件与本性总结,performance_schema全方位介绍。TIMER_WRITE,AVG_TIMER_WRITE,
MAX_TIMER_WRITE
统计写
COUNT_FETCH,SUM_TIMER_FETCH,MIN_TIMER_FETCH,AVG_TIMER_FETCH,
MAX_TIMER_FETCH
与读相同
COUNT_INSERT,SUM_TIMER_INSERT,MIN_TIMER_INSERT,AVG_TIMER_INSERT,MAX_TIMER_INSERT
INSERT统计,相应的还有DELETE和UPDATE统计。

(6).table_io_waits_summary_by_index_usage
与table_io_waits_summary_by_table类似,按索引维度统计

(7).table_lock_waits_summary_by_table
聚合了表锁等待事件,包括internal lock 和 external lock。
internal lock通过SQL层函数thr_数据库对象事件与本性总结,performance_schema全方位介绍。lock调用,OPERATION值为:
read normal
read with shared locks
read high priority
read no insert
write allow write
write concurrent insert
write delayed
write low priority
write normal

external lock则通过接口函数handler::external_lock调用存储引擎层,
OPERATION列的值为:
read external
write external

(8).Connection Summaries表
events_waits_summary_by_account_by_event_name
events_waits_summary_by_user_by_event_name
events_waits_summary_by_host_by_event_name
events_stages_summary_by_account_by_event_name
events_stages_summary_by_user_by_event_name
events_stages_summary_by_host_by_event_name
events_statements_summary_by_account_by_event_name
events_statements_summary_by_user_by_event_name
events_statements_summary_by_host_by_event_name

(9).socket-summaries表
socket_summary_by_instance
socket_summary_by_event_name

其它表
performance_timers: 系统支持的统计时间单位
threads: 监视服务端的当前运行的线程

Performance-Schema(二)
理论篇,performanceschema MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Ev…

3rows inset (0.01sec)

| EVENT_NAME |OBJECT_INSTANCE_BEGIN | THREAD_ID |SOCKET_ID | IP
|PORT | STATE |

mg4377娱乐电子游戏 1

·CURRENT_CONNECTIONS:某用户的当前连接数;

| ENGINE |SUPPORT | COMMENT |TRANSACTIONS | XA |SAVEPOINTS |

1 row in set (0.00 sec)

instance表记录了哪些类型的对象会被检测。这些对象在被server使用时,在该表中将会产生一条事件记录,例如,file_instances表列出了文件I/O操作及其关联文件名:

原标题:数据库对象事件与属性统计 | performance_schema全方位介绍(五)

|13| 2261
|wait/synch/mutex/innodb/flush_list_mutex | 122208 |

|TABLE | xiaoboluo |test | 140568038528544 |0| 0 |NULL | NULL |

打开等待事件的采集器配置项开关,需要修改setup_instruments
配置表中对应的采集器配置项

(5) socket_instances表

|PERFORMANCE_SCHEMA | YES
|Performance Schema | NO
|NO | NO |

OPEN_COUNT:文件当前已打开句柄的计数。如果文件打开然后关闭,则打开1次,但OPEN_COUNT列将加一然后减一,因为OPEN_COUNT列只统计当前已打开的文件句柄数,已关闭的文件句柄会从中减去。要列出server中当前打开的所有文件信息,可以使用where
WHERE OPEN_COUNT> 0子句进行查看。

|Transactions | XA |Savepoints
|

STATEMENT_NAME: stmt

+————————————————+

(3)hosts表

+———————————————–+

从上面表中的记录信息我们可以看到:

原标题:初相识|performance_schema全方位介绍(一)

Performance Schema通过metadata_locks表记录元数据锁信息:

TIMER_START: 1582395491787124480

| PROCESSLIST_ID |ATTR_NAME | ATTR_VALUE |ORDINAL_POSITION |

|wait/io/file/sql/casetest | 104324715
|

·MySQL Connector/Net定义了如下属性:

+—————————————–+

·当监听套接字检测到连接时,srever将连接转移给一个由单独线程管理的新套接字。新连接线程的instruments具有client_connection的socket_type值,组成对应的instruments名称;

监视文件系统层调用的表:

admin@localhost : performance_schema 06:48:12> show tables like
‘%file_summary%’;

|
events_statements_summary_by_program |

AVG _TIMER_WAIT: 56688392

QueryOK, 3 rowsaffected(0.04sec)

| /data/mysqldata1/innodb_ts/ibdata1
|wait/io/file/innodb/innodb_data_file | 3 |

+—————————————+

AVG_TIMER_EXECUTE: 0

| Tables_in_performance_schema
(%file%) |

admin@localhost : performance _schema 11:10:42> select * from
objects_summary _global_by _type where SUM_TIMER_WAIT!=0G;

***************************

+———————————-+———————–+

| events_statements_history |

·如果值为NULL,则表示表I/O没有使用到索引

| THREAD_ID |EVENT_ID | EVENT_NAME |TIMER_WAIT |

* _runtime_vendor:Java运行环境(JRE)供应商名称

| events_waits_history_long |

对于使用C
API启动的连接,libmysqlclient库对客户端上的客户端面连接属性数据的统计大小的固定长度限制为64KB:超出限制时调用mysql_options()函数会报CR_INVALID_PARAMETER_NO错误。其他MySQL连接器可能会设置自己的客户端面的连接属性长度限制。

|2、performance_schema使用快速入门

·HOST:某个连接的主机名,如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

|
events_statements_summary_by_host_by_event_name |

# socket_summary_by_event_name表

|EVENT_NAME | SUM_TIMER_WAIT |

socket_instances表字段含义如下:

| events_stages_current |

performance_schema如何管理metadata_locks表中记录的内容(使用LOCK_STATUS列来表示每个锁的状态):

|
/home/mysql/program/share/english/errmsg.sys
|wait/io/file/sql/ERRMSG

+————————————+————————————–+————+

1row inset (0.00sec)

4 rows in set (0.00 sec)

最后,简单介绍了performance_schema中由哪些表组成,这些表大致的作用是什么。

| NAME |OBJECT_INSTANCE_BEGIN | LOCKED_BY_THREAD_ID |

+—————————————-+—————-+

COUNT_READ_NORMAL: 0

|4|
343 |wait/io/file/innodb/innodb_log_file | 544126864 |

OWNER_OBJECT_TYPE: NULL

qogir_env@localhost :
performance_schema 03:55:30>
show tables like ‘events_mg电子娱乐,transaction%’;

·当线程成功锁定(持有)互斥体时:

| 4 |350|
wait/synch/mutex/innodb/log_sys_mutex |25536|

*************************** 2. row
***************************

动态对performance_schema进行配置的配置表:

下面对这些表分别进行说明。

罗小波·沃趣科技高级数据库技术专家

| USER |HOST | CURRENT_CONNECTIONS |TOTAL_CONNECTIONS |

|
events_statements_summary_by_account_by_event_name |

·IP:客户端IP地址。该值可以是IPv4或IPv6地址,也可以是空串,表示这是一个Unix套接字文件连接;

|
events_stages_summary_by_account_by_event_name |

admin@localhost : performance_schema 09 :50:01> select * from
users;

+———————————————–+

需要持有互斥体的工作负载可以被认为是处于一个关键位置的工作,多个查询可能需要以序列化的方式(一次一个串行)执行这个关键部分,但这可能是一个潜在的性能瓶颈。

|
events_stages_summary_by_host_by_event_name |

·table_handles:表锁的持有和请求记录。

+———–+———-+——————————————+————+

+———————————-+———————–+

| events_statements_history_long
|

我们先来看看表中记录的统计信息是什么样子的。

从上文中我们已经知道,performance_schema在5.7.x及其以上版本中默认启用(5.6.x及其以下版本默认关闭),如果要显式启用或关闭时,我们需要使用参数performance_schema=ON|OFF设置,并在my.cnf中进行配置:

·COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,SUM_NUMBER_OF_BYTES_READ:这些列统计所有接收操作(socket的RECV、RECVFROM、RECVMS类型操作,即以server为参照的socket读取数据的操作)相关的次数、时间、接收字节数等信息

PS:本系列文章所使用的数据库版本为 MySQL
官方 5.7.17版本

*************************** 4. row
***************************

  1. row ***************************

数据库对象统计表

+—————————————————-+

*************************** 3. row
***************************

| wait/io/file/myisam/kfile |411193611|

* _program_name:客户端程序名称

2.2. 启用performance_schema

|4| _pid |3766| 2 |

21 rows inset (0.00 sec)

# table_io_waits_summary_by_table表

……

SUM _NUMBER_OF _BYTES_READ: 0

2.4.
performance_schema简单配置与使用

·对于已接受的连接,performance_schema根据performance_schema_session_connect_attrs_size系统变量的值检查统计连接属性大小。如果属性大小超过此值,则会执行以下操作:

|
memory_summary_by_thread_by_event_name |

·TOTAL_CONNECTIONS:某帐号的总连接数(新增加一个连接累计一个,不会像当前连接数那样连接断开会减少)。

1row inset (0.00sec)

| FILE_NAME |EVENT_NAME | OPEN_COUNT |

qogir_env@localhost :
performance_schema 06:17:23>
SELECT EVENT_NAME,COUNT_STAR FROM
events_waits_summary_global_by_event_name

MAX _TIMER_WAIT: 56688392

| setup_consumers |

从上面表中的记录信息我们可以看到,table_io_waits_summary_by_index_usage表和table_io_waits_summary_by_table有着类似的统计列,但table_io_waits_summary_by_table表是包含整个表的增删改查等待事件分类统计,table_io_waits_summary_by_index_usage区分了每个表的索引的增删改查等待事件分类统计,而table_lock_waits_summary_by_table表统计纬度类似,但它是用于统计增删改查对应的锁等待时间,而不是IO等待时间,这些表的分组和统计列含义请大家自行举一反三,这里不再赘述,下面针对这三张表做一些必要的说明:

|
/data/mysqldata1/mydata/mysql/server_cost.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

COUNT_READ: 0

+——————————————————+

AVG_TIMER_READ_NORMAL: 0

+————————————————+

MIN _TIMER_READ _WITH_SHARED_LOCKS: 0

| variables_by_thread |

根据请求锁的线程数以及所请求的锁的性质,访问模式有:独占模式、共享独占模式、共享模式、或者所请求的锁不能被全部授予,需要先等待其他线程完成并释放。

+——————————————————+

session_account_connect_attrs表不允许使用TRUNCATE TABLE语句。

FLAGS: NULL

·session_account_connect_attrs:记录当前会话及其相关联的其他会话的连接属性;

现在,我们已经大概知道了performance_schema中的主要表的分类,但,如何使用他们来为我们提供需要的性能事件数据呢?下面,我们介绍如何通过performance_schema下的配置表来配置与使用performance_schema。

·mutex_instances:wait sync相关的Mutex对象实例;

| users |

mg4377娱乐电子游戏 2

INDEX_NAME: NULL

·VICTIM,TIMEOUT和KILLED状态值停留时间很简短,当一个锁处于这个状态时,那么表示该锁行信息即将被删除(手动执行SQL可能因为时间原因查看不到,可以使用程序抓取);

| events_transactions_history_long
|

| 4 |program_name | mysql |5|

NESTING_EVENT_TYPE: NULL

按照与table_io_waits_summary_by_table的分组列+INDEX_NAME列进行分组,INDEX_NAME有如下几种

|
events_mg4377娱乐电子游戏,transactions_summary_by_thread_by_event_name |

01

|
events_transactions_summary_by_account_by_event_name |

……

下篇将为大家分享
“performance_schema之二(配置表详解)”
,谢谢你的阅读,我们不见不散!返回搜狐,查看更多

·PROCESSLIST_ID:会话的连接标识符,与show
processlist结果中的ID字段相同;

OPERATION: lock

……

+——————–+———+—————————————————————-+————–+——+————+

2rows inset ( 0. 00sec)

本文首先,大致介绍了什么是performance_schema?它能做什么?

accounts表字段含义如下:

|wait/synch/mutex/mysys/THR_LOCK::mutex | 89 |

按照数据库对象名称(库级别对象和表级别对象,如:库名和表名)进行统计的等待事件。按照OBJECT_TYPE、OBJECT_SCHEMA、OBJECT_NAME列进行分组,按照COUNT_STAR、xxx_TIMER_WAIT字段进行统计。包含一张objects_summary_global_by_type表。

|4|
341 |wait/synch/mutex/innodb/fil_system_mutex | 84816 |

·当行信息中CURRENT_CONNECTIONS
字段值大于0时,执行truncate语句不会删除这些行,TOTAL_CONNECTIONS字段值被重置为CURRENT_CONNECTIONS字段值;

|
/data/mysqldata1/mydata/multi_master/test.ibd
|wait/io/file/innodb/innodb_data_file | 1 |

*
COUNT_MISC,SUM_TIMER_MISC,MIN_TIMER_MISC,AVG_TIMER_MISC,MAX_TIMER_MISC:这些列统计了所有其他文件I/O操作,包括CREATE,DELETE,OPEN,CLOSE,STREAM_OPEN,STREAM_CLOSE,SEEK,TELL,FLUSH,STAT,FSTAT,CHSIZE,RENAME和SYNC系统调用。注意:这些文件I/O操作没有字节计数信息。

|
events_waits_summary_by_host_by_event_name |

我们先来看看表中记录的统计信息是什么样子的。

| wait/io/file/sql/FRM |452|

4rows inset ( 0. 00sec)

| accounts |

·LOCK_TYPE:元数据锁子系统中的锁类型。有效值为:INTENTION_EXCLUSIVE、SHARED、SHARED_HIGH_PRIO、SHARED_READ、SHARED_WRITE、SHARED_UPGRADABLE、SHARED_NO_WRITE、SHARED_NO_READ_WRITE、EXCLUSIVE;

| events_statements_summary_by_digest
|

SUM_TIMER_WAIT: 62379854922

+——————————————————+

COUNT _READ_WITH _SHARED_LOCKS: 0

SOURCE: log0log.cc:1572

table_handles表字段含义如下:

| Tables_in_performance_schema
(%setup%) |

# file_summary_by_instance表

| Tables_in_performance_schema
(%wait%) |

·server只接受的连接属性数据的统计大小限制为64KB。如果客户端尝试发送超过64KB(正好是一个表所有字段定义长度的总限制长度)的属性数据,则server将拒绝该连接;

OBJECT_INSTANCE_BEGIN: 955681576

·PS:cond_instances表不允许使用TRUNCATE TABLE语句。

8rows inset (0.00sec)

EVENT_NAME: wait/io/file/innodb/innodb_data_file

| wait/io/file/sql/binlog_index
|1385291934|

……

qogir_env@localhost :
performance_schema 03:55:07>
show tables like ‘events_stage%’;

我们先来看看表中记录的统计信息是什么样子的。

+——————–+——-+

admin@localhost : performance_schema 06:53:42> show tables like
‘%socket%summary%’;

| wait/synch/mutex/sql/LOCK_plugin
|86027823|

·对于Unix
domain套接字(server_unix_socket)的server端监听器,端口为0,IP为空串;

qogir_env@localhost : performance_schema 06:19:20> SELECT
EVENT_NAME,SUM_TIMER_WAIT FROM
events_waits_summary_global_by_event_name

| table_io_waits_summary_by_table |#
按照每个表进行统计的表I/O等待事件

+—————————————–+

SUM_TIMER_WAIT: 412754363625

| events_waits_summary_by_instance
|

*
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT:这些列统计所有I/O操作数量和操作时间

[mysqld]

metadata_locks表不允许使用TRUNCATE TABLE语句。

| file_summary_by_instance |

·CURRENT_CONNECTIONS:某主机的当前连接数;

| Tables_in_performance_schema
|

·COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,SUM_NUMBER_OF_BYTES_WRITE:这些列统计了所有发送操作(socket的SEND、SENDTO、SENDMSG类型操作,即以server为参照的socket写入数据的操作)相关的次数、时间、接收字节数等信息

|
memory_summary_by_account_by_event_name |

OBJECT_SCHEMA: xiaoboluo

qogir_env@localhost : performance_schema
04:23:52> SELECT * FROM events_waits_current limit 1G

·依赖于连接表中信息的summary表在对这些连接表执行truncate时会同时被隐式地执行truncate,performance_schema维护着按照accounts,hosts或users统计各种事件统计表。这些表在名称包括:_summary_by_account,_summary_by_host,*_summary_by_user

| EVENT_NAME |COUNT_STAR |

·setup_instruments表列出了instruments名称,这些互斥体都带有wait/synch/mutex/前缀;

| /data/mysqldata1/undo/undo003
|wait/io/file/innodb/innodb_data_file | 3 |

# table_io_waits_summary_by_index_usage表

| Variable_name |Value |

·当连接终止时,在socket_instances表中对应的连接信息行被删除。

事务事件记录表,记录事务相关的事件的表,与语句事件类型的相关记录表类似:

* _os:客户端操作系统类型(例如Linux,Win64)

|
/data/mysqldata1/mydata/mysql/engine_cost.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

|3| _os |linux-glibc2. 5| 0 |

| accounts |

·OBJECT_TYPE:元数据锁子系统中使用的锁类型(类似setup_objects表中的OBJECT_TYPE列值):有效值为:GLOBAL、SCHEMA、TABLE、FUNCTION、PROCEDURE、TRIGGER(当前未使用)、EVENT、COMMIT、USER
LEVEL LOCK、TABLESPACE、LOCKING SERVICE,USER LEVEL
LOCK值表示该锁是使用GET_LOCK()函数获取的锁。LOCKING
SERVICE值表示使用锁服务获取的锁;

  1. 提供了一种在数据库运行时实时检查server的内部执行情况的方法。performance_schema
    数据库中的表使用performance_schema存储引擎。该数据库主要关注数据库运行过程中的性能相关的数据,与information_schema不同,information_schema主要关注server运行过程中的元数据信息
  2. performance_schema通过监视server的事件来实现监视server内部运行情况,
    “事件”就是server内部活动中所做的任何事情以及对应的时间消耗,利用这些信息来判断server中的相关资源消耗在了哪里?一般来说,事件可以是函数调用、操作系统的等待、SQL语句执行的阶段(如sql语句执行过程中的parsing

    sorting阶段)或者整个SQL语句与SQL语句集合。事件的采集可以方便的提供server中的相关存储引擎对磁盘文件、表I/O、表锁等资源的同步调用信息。
  3. performance_schema中的事件与写入二进制日志中的事件(描述数据修改的events)、事件计划调度程序(这是一种存储程序)的事件不同。performance_schema中的事件记录的是server执行某些活动对某些资源的消耗、耗时、这些活动执行的次数等情况。
  4. performance_schema中的事件只记录在本地server的performance_schema中,其下的这些表中数据发生变化时不会被写入binlog中,也不会通过复制机制被复制到其他server中。
  5. 当前活跃事件、历史事件和事件摘要相关的表中记录的信息。能提供某个事件的执行次数、使用时长。进而可用于分析某个特定线程、特定对象(如mutex或file)相关联的活动。
  6. PERFORMANCE_SCHEMA存储引擎使用server源代码中的“检测点”来实现事件数据的收集。对于performance_schema实现机制本身的代码没有相关的单独线程来检测,这与其他功能(如复制或事件计划程序)不同
  7. 收集的事件数据存储在performance_schema数据库的表中。这些表可以使用SELECT语句查询,也可以使用SQL语句更新performance_schema数据库中的表记录(如动态修改performance_schema的setup_*开头的几个配置表,但要注意:配置表的更改会立即生效,这会影响数据收集)
  8. performance_schema的表中的数据不会持久化存储在磁盘中,而是保存在内存中,一旦服务器重启,这些数据会丢失(包括配置表在内的整个performance_schema下的所有数据)
  9. MySQL支持的所有平台中事件监控功能都可用,但不同平台中用于统计事件时间开销的计时器类型可能会有所差异。

EVENT_NAME: wait/io/socket/sql/client_connection

|
events_waits_summary_global_by_event_name |

| HOST |CURRENT_CONNECTIONS | TOTAL_CONNECTIONS |

|
events_transactions_summary_global_by_event_name |

| admin |1| 1 |

2.1检查当前数据库版本是否支持

| NAME |OBJECT_INSTANCE_BEGIN | WRITE_LOCKED_BY_THREAD_ID
|READ_LOCKED_BY_COUNT |

8rows inset (0.00sec)

instance表记录了哪些类型的对象被检测。这些表中记录了事件名称(提供收集功能的instruments名称)及其一些解释性的状态信息(例如:file_instances表中的FILE_NAME文件名称和OPEN_COUNT文件打开次数),instance表主要有如下几个:

|
/data/mysqldata1/mydata/mysql/plugin.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

(1) session_account_connect_attrs表

EVENT_ID: 60

·PRE_ACQUIRE_NOTIFY和POST_RELEASE_NOTIFY状态值停留事件都很简短,当一个锁处于这个状态时,那么表示元数据锁子系统正在通知相关的存储引擎该锁正在执行分配或释。这些状态值在5.7.11版本中新增。

现在,很高兴的告诉大家,我们基于 MySQL
官方文档加上我们的验证,整理了一份可以系统学习 performance_schema
的资料分享给大家,为了方便大家阅读,我们整理为了一个系列,一共7篇文章。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

·ORDINAL_POSITION:将连接属性添加到连接属性集的顺序。

阶段事件记录表,记录语句执行的阶段事件的表,与语句事件类型的相关记录表类似:

*************************** 1. row
***************************

通过从INFORMATION_SCHEMA.tables表查询有哪些performance_schema引擎的表:

table_handles表不允许使用TRUNCATE TABLE语句。

| wait/io/file/sql/MYSQL_LOG
|1599816582|

| 10.10.20.15 |1| 1 |

qogir_env@localhost :
performance_schema 03:51:36>
show tables like ‘events_statement%’;

| table_io_waits_summary_by_index_usage |#
按照每个索引进行统计的表I/O等待事件

|
/data/mysqldata1/mydata/mysql/help_category.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

MAX_TIMER_WAIT: 18446696808701862260

|wait/synch/mutex/mysys/THR_LOCK_malloc | 1530083250 |

·hosts:按照host名称对每个客户端连接进行统计;

| NO |NO | NO |

IP:PORT列组合值可用于标识一个连接。该组合值在events_waits_xxx表的“OBJECT_NAME”列中使用,以标识这些事件信息是来自哪个套接字连接的:

| cond_instances |

OWNER _THREAD_ID: 46

1 row in set (0.02 sec)

·PHP定义的属性依赖于编译的属性:

| events_waits_current |

当在server中同时执行的两个线程(例如,同时执行查询的两个用户会话)需要访问相同的资源(例如:文件、缓冲区或某些数据)时,这两个线程相互竞争,因此第一个成功获取到互斥体的查询将会阻塞其他会话的查询,直到成功获取到互斥体的会话执行完成并释放掉这个互斥体,其他会话的查询才能够被执行。

| 4 |342|
wait/synch/mutex/innodb/fil_system_mutex |32832|

7.锁对象记录表

| wait/synch/mutex/sql/LOCK_open
|88|

*************************** 1. row
***************************

+—————————————+

2rows inset ( 0. 00sec)

87rows inset (0.00sec)

·当请求立即获取元数据锁时,将插入状态为GRANTED的锁信息行;

+——————–+———+—————————————————————-+————–+——+————+

mutex_instances表列出了server执行mutex
instruments时performance_schema所见的所有互斥量。互斥是在代码中使用的一种同步机制,以强制在给定时间内只有一个线程可以访问某些公共资源。可以认为mutex保护着这些公共资源不被随意抢占。

+—————————————-+—————-+

* mutex_instances表中的THREAD_ID列显示该互斥体现在被哪个线程持有。

| file_summary_by_event_name |

+—————————————-+———————–+———–+———–+——————–+——-+——–+

+—————————————-+

OBJECT _INSTANCE_BEGIN: 2655350784

+—————————————+

+———————————————–+

|
/data/mysqldata1/mydata/mysql/innodb_index_stats.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

COUNT_STAR: 24

现在,你可以在performance_schema下使用show
tables语句或者通过查询
INFORMATION_SCHEMA.TABLES表中performance_schema引擎相关的元数据来了解在performance_schema下存在着哪些表:

admin@localhost : performance _schema 04:55:42> select * from
metadata_locksG;

|
/data/mysqldata1/mydata/mysql/gtid_executed.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

MIN_TIMER_READ: 0

|wait/io/file/sql/pid | 72591750 |

MySQL允许应用程序引入新的连接属性,但是以下划线(_)开头的属性名称保留供内部使用,应用程序不要创建这种格式的连接属性。以确保内部的连接属性不会与应用程序创建的连接属性相冲突。

|
events_transactions_summary_by_user_by_event_name |

(2)users表

……

·OBJECT_NAME:instruments对象的名称,表级别对象;

summary表提供所有事件的汇总信息。该组中的表以不同的方式汇总事件数据(如:按用户,按主机,按线程等等)。例如:要查看哪些instruments占用最多的时间,可以通过对events_waits_summary_global_by_event_name表的COUNT_STAR或SUM_TIMER_WAIT列进行查询(这两列是对事件的记录数执行COUNT(*)、事件记录的TIMER_WAIT列执行SUM(TIMER_WAIT)统计而来),如下:

MAX_TIMER_READ: 9498247500

qogir_env@localhost :
performance_schema 03:53:51>
show tables like ‘events_wait%’;

*************************** 1. row
***************************

  1. 启用performance_schema不会导致server的行为发生变化。例如,它不会改变线程调度机制,不会导致查询执行计划(如EXPLAIN)发生变化
  2. 启用performance_schema之后,server会持续不间断地监测,开销很小。不会导致server不可用
  3. 在该实现机制中没有增加新的关键字或语句,解析器不会变化
  4. 即使performance_schema的监测机制在内部对某事件执行监测失败,也不会影响server正常运行
  5. 如果在开始收集事件数据时碰到有其他线程正在针对这些事件信息进行查询,那么查询会优先执行事件数据的收集,因为事件数据的收集是一个持续不断的过程,而检索(查询)这些事件数据仅仅只是在需要查看的时候才进行检索。也可能某些事件数据永远都不会去检索
  6. 需要很容易地添加新的instruments监测点
  7. instruments(事件采集项)代码版本化:如果instruments的代码发生了变更,旧的instruments代码还可以继续工作。
  8. 注意:MySQL sys
    schema是一组对象(包括相关的视图、存储过程和函数),可以方便地访问performance_schema收集的数据。同时检索的数据可读性也更高(例如:performance_schema中的时间单位是皮秒,经过sys
    schema查询时会转换为可读的us,ms,s,min,hour,day等单位),sys
    schem在5.7.x版本默认安装

·已请求但未授予的锁(显示哪些会话正在等待哪些元数据锁);

| events_stages_history |

我们先来看看表中记录的统计信息是什么样子的。

|1、**什么是performance_schema**

对于代码中的每个互斥体,performance_schema提供了以下信息:

使用show命令来查询你的数据库实例是否支持INFORMATION_SCHEMA引擎

·rwlock_instances:查看当前rwlock行的一些锁信息(独占锁被哪个线程持有,共享锁被多少个线程持有等)。

qogir_env@localhost : performance_schema 03:21:06> show tables from
performance_schema;

+————————————–+———————–+———————+

OBJECT_TYPE: NULL

文件I/O事件统计表允许使用TRUNCATE
TABLE语句。但只将统计列重置为零,而不是删除行。

|
events_waits_summary_by_thread_by_event_name |

socket_instances表列出了连接到MySQL
server的活跃连接的实时快照信息。对于每个连接到mysql
server中的TCP/IP或Unix套接字文件连接都会在此表中记录一行信息。(套接字统计表socket_summary_by_event_name和socket_summary_by_instance中提供了一些附加信息,例如像socket操作以及网络传输和接收的字节数)。

| events_transactions_history |

· NAME:与condition相关联的instruments名称;

|
events_stages_summary_by_user_by_event_name |

友情提示:下文中的统计表中大部分字段含义与上一篇
《事件统计 | performance_schema全方位介绍》
中提到的统计表字段含义相同,下文中不再赘述。此外,由于部分统计表中的记录内容过长,限于篇幅会省略部分文本,如有需要请自行安装MySQL
5.7.11以上版本跟随本文进行同步操作查看。

MySQL的performance schema 用于监控MySQL
server在一个较低级别的运行过程中的资源消耗、资源等待等情况,它具有以下特点:

从表中的记录内容可以看到,按照库xiaoboluo下的表test进行分组,统计了表相关的等待事件调用次数,总计、最小、平均、最大延迟时间信息,利用这些信息,我们可以大致了解InnoDB中表的访问效率排行统计情况,一定程度上反应了对存储引擎接口调用的效率。

|
/data/mysqldata1/mydata/mysql/help_keyword.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

·ATTR_NAME:连接属性名称;

+——————————————————+

+——-+———————+——————-+

|
memory_summary_by_user_by_event_name |

·LOCK_DURATION:来自元数据锁子系统中的锁定时间。有效值为:STATEMENT、TRANSACTION、EXPLICIT,STATEMENT和TRANSACTION值分别表示在语句或事务结束时会释放的锁。
EXPLICIT值表示可以在语句或事务结束时被会保留,需要显式释放的锁,例如:使用FLUSH
TABLES WITH READ LOCK获取的全局锁;

|目
1、什么是performance_schema

·file_instances:文件对象实例;

打开等待事件的保存表配置开关,修改修改setup_consumers
配置表中对应的配置i向

# socket_summary_by_instance表

qogir_env@localhost :
performance_schema 03:58:38>
show tables like ‘%memory%’;

admin@localhost : performance_schema 02:50:02> select * from
cond_instances limit 1;

按照事件类型分组记录性能事件数据的表

OBJECT_TYPE: TABLE

+——————–+———+——————–+————–+——+————+

SUM_LOCK_TIME: 0

+——————–+——-+

COUNT_STAR: 2560

qogir_env@localhost: performance_schema 04:23:40> UPDATE setup_consumers SET
ENABLED = ‘YES’where name like
‘%wait%’;

·许多MySQL客户端程序设置的属性值与客户端名称相等的一个program_name属性。例如:mysqladmin和mysqldump分别将program_name连接属性设置为mysqladmin和mysqldump,另外一些MySQL客户端程序还定义了附加属性:

语句事件记录表,这些表记录了语句事件信息,当前语句事件表events_statements_current、历史语句事件表events_statements_history和长语句历史事件表events_statements_history_long、以及聚合后的摘要表summary,其中,summary表还可以根据帐号(account),主机(host),程序(program),线程(thread),用户(user)和全局(global)再进行细分)

·libmysqlclient客户端库(在MySQL和MySQL Connector /
C发行版中提供)提供以下属性:

qogir_env@localhost :
performance_schema 03:58:27>
show tables like ‘%file%’;

·EVENT_NAME:生成事件信息的instruments
名称。与setup_instruments表中的NAME值对应;

……

1 row in set (0.00 sec)

5rows inset (0.00sec)

table_handles表是只读的,不能更新。默认自动调整表数据行大小,如果要显式指定个,可以在server启动之前设置系统变量performance_schema_max_table_handles的值。

当我们看到PERFORMANCE_SCHEMA
对应的Support
字段输出为YES时就表示我们当前的数据库版本是支持performance_schema的。但知道我们的实例支持performance_schema引擎就可以使用了吗?NO,很遗憾,performance_schema在5.6及其之前的版本中,默认没有启用,从5.7及其之后的版本才修改为默认启用。现在,我们来看看如何设置performance_schema默认启用吧!

+——————————————————-+———————–+—————————+———————-+

+——————–+———+——————–+————–+——+————+

3rows inset ( 0. 00sec)

|4|
349 |wait/synch/mutex/innodb/fil_system_mutex | 65664 |

PS:socket统计表不会统计空闲事件生成的等待事件信息,空闲事件的等待信息是记录在等待事件统计表中进行统计的。

| variables_by_thread |

session_account_connect_attrs表字段含义:

Rowsmatched: 323 Changed: 0 Warnings: 0

·socket_summary_by_event_name表:按照EVENT_NAME列进行分组

+——————–+———+——————–+————–+——+————+

·STATEMENT_ID:由server分配的语句内部ID。文本和二进制协议都使用该语句ID。

| setup_objects |

| Tables_in_performance_schema (%file_summary%) |

| setup_instruments |

|4| _platform |x86_64 | 4 |

+—————————————————-+

performance_schema提供了针对prepare语句的监控记录,并按照如下方法对表中的内容进行管理。

| 4 |348|
wait/io/file/innodb/innodb_log_file |693076224|

AVG_TIMER_WAIT: 24366870

87rows inset (0.00sec)

·当请求元数据锁不能立即获得时,将插入状态为PENDING的锁信息行;

+—————————————-+

+————————————–+———————–+———————+

12rows inset (0.01sec)

root@localhost : performance _schema 05:11:45> select * from
socket_summary _by_instance where COUNT_STAR!=0G;

+——————————————————+

| Tables_in_performance_schema (%table%summary%) |

数据库刚刚初始化并启动时,并非所有instruments(事件采集项,在采集项的配置表中每一项都有一个开关字段,或为YES,或为NO)和consumers(与采集项类似,也有一个对应的事件类型保存表配置项,为YES就表示对应的表保存性能数据,为NO就表示对应的表不保存性能数据)都启用了,所以默认不会收集所有的事件,可能你需要检测的事件并没有打开,需要进行设置,可以使用如下两个语句打开对应的instruments和consumers(行计数可能会因MySQL版本而异),例如,我们以配置监测等待事件数据为例进行说明:

·CURRENT_CONNECTIONS:某帐号的当前连接数;

本文小结

我们先来看看表中记录的统计信息是什么样子的。

+——————————————————+

performance_schema还统计后台线程和无法验证用户的连接,对于这些连接统计行信息,USER和HOST列值为NULL。

+—————————————-+

两张表中记录的内容很相近:

TIMER_END: 1582395491787190144

…………

……

·socket_summary_by_event_name:针对每个socket I/O
instruments,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/*
instruments产生(这里的socket是指的当前活跃的连接创建的socket实例)

|wait/io/file/sql/FRM | 1292823243
|

hosts表包含客户端连接到MySQL
server的主机信息,一个主机名对应一行记录,该表针对主机作为唯一标识进行统计当前连接数和总连接数。server启动时,表的大小会自动调整。
要显式设置该表大小,可以在server启动之前设置系统变量performance_schema_hosts_size的值。如果该变量设置为0,则表示禁用hosts表统计信息。

监视内存使用的表:

·MySQL
Connector/J定义了如下属性:

qogir_env@localhost :
performance_schema 03:13:10>
SHOW VARIABLES LIKE ‘performance_schema’;

1. 连接信息统计表

qogir_env@localhost: performance_schema 03:34:40> UPDATE setup_instruments SET
ENABLED = ‘YES’, TIMED = ‘YES’where name like ‘wait%’;;

4.套接字事件统计

|wait/synch/mutex/sql/LOCK_plugin | 337
|

该表包含有关内部和外部锁的信息:

本篇内容到这里就接近尾声了,相信很多人都认为,我们大多数时候并不会直接使用performance_schema来查询性能数据,而是使用sys
schema下的视图代替,为什么不直接学习sys schema呢?那你知道sys
schema中的数据是从哪里吐出来的吗?performance_schema
中的数据实际上主要是从performance_schema、information_schema中获取,所以要想玩转sys
schema,全面了解performance_schema必不可少。另外,对于sys
schema、informatiion_schema甚至是mysql
schema,我们后续也会推出不同的系列文章分享给大家。

1 row in set (0.00 sec)

+———–+———-+——————————————+————+

# table_lock_waits_summary_by_table表

| wait/synch/mutex/mysys/THR_LOCK_open
|187|

·OBJECT_TYPE:显示handles锁的类型,表示该表是被哪个table
handles打开的;

然后,简单介绍了如何快速上手使用performance_schema的方法;

1row inset ( 0. 00sec)

|
/data/mysqldata1/innodb_log/ib_logfile1
|wait/io/file/innodb/innodb_log_file | 2 |

·对于TCP/IP
server套接字(server_tcpip_socket)的server端监听器,端口始终为主端口(例如3306),IP始终为0.0.0.0;

root@localhost : performance_schema
12:18:46> show tables like
‘%setup%’;

·外部锁对应存储引擎层中的锁。通过调用handler::external_lock()函数来实现。(官方手册上说有一个OPERATION列来区分锁类型,该列有效值为:read
external、write external。但在该表的定义上并没有看到该字段)

+——————————————————+————————————–+————+

应用程序可以使用mysql_options()和mysql_options4()C
API函数在连接时提供一些要传递到server的键值对连接属性。

……

| qfsys |10.10. 20.15| 1 |1|

配置好之后,我们就可以查看server当前正在做什么,可以通过查询events_waits_current表来得知,该表中每个线程只包含一行数据,用于显示每个线程的最新监视事件(正在做的事情):

EVENT_NAME: wait/io/socket/sql/server_tcpip_socket

NUMBER_OF_BYTES: NULL

从客户端发送到服务器的连接属性数据量存在限制:客户端在连接之前客户端有一个自己的固定长度限制(不可配置)、在客户端连接server时服务端也有一个固定长度限制、以及在客户端连接server时的连接属性值在存入performance_schema中时也有一个可配置的长度限制。

|导
很久之前,当我还在尝试着系统地学习performance_schema的时候,通过在网上各种搜索资料进行学习,但很遗憾,学习的效果并不是很明显,很多标称类似
“深入浅出performance_schema”
的文章,基本上都是那种动不动就贴源码的风格,然后深入了之后却出不来了。对系统学习performance_schema的作用甚微。

·EVENT_NAME:与文件相关联的instruments名称;

ORDER BY SUM_TIMER_WAIT DESC LIMIT 10;

cond_instances表列出了server执行condition instruments
时performance_schema所见的所有condition,condition表示在代码中特定事件发生时的同步信号机制,使得等待该条件的线程在该condition满足条件时可以恢复工作。

相关文章