PostgreSQLLa base de données la plus sophistiquée au monde.
Documentation PostgreSQL 12.22 » Annexes » Modules supplémentaires fournis » pg_stat_statements

F.29. pg_stat_statements

Le module pg_stat_statements fournit un moyen de surveiller les statistiques d'exécution de tous les ordres SQL exécutés par un serveur.

Le module doit ĂȘtre chargĂ© par l'ajout de pg_stat_statements Ă  shared_preload_libraries dans le fichier de configuration postgresql.conf parce qu'il a besoin de mĂ©moire partagĂ©e supplĂ©mentaire. Ceci signifie qu'il faut redĂ©marrer le serveur pour ajouter ou supprimer le module.

Quand pg_stat_statements est chargĂ©, il rĂ©cupĂšre des statistiques sur toutes les bases de donnĂ©es du serveur. Pour y accĂ©der et les manipuler, le module fournit une vue, pg_stat_statements, et les fonctions pg_stat_statements_reset et pg_stat_statements. Elles ne sont pas disponibles globalement mais peuvent ĂȘtre activĂ©es pour une base de donnĂ©es spĂ©cifique avec l'instruction CREATE EXTENSION pg_stat_statements.

F.29.1. La vue pg_stat_statements

Les statistiques collectĂ©es par le module sont rendues disponibles par une vue nommĂ©e pg_stat_statements. Cette vue contient une ligne pour chaque identifiant de base de donnĂ©es, identifiant utilisateur et identifiant de requĂȘte distincts (jusqu'au nombre maximum d'ordres distincts que le module peut surveiller). Les colonnes de la vue sont affichĂ©es dans Tableau F.21.

Tableau F.21. Colonnes de pg_stat_statements

NomTypeRéférenceDescription
useridoidpg_authid.oidOID de l'utilisateur qui a exécuté l'ordre SQL
dbidoidpg_database.oid OID de la base de données dans laquelle l'ordre SQL a été exécuté
queryidbigint  Code de hachage interne, calculĂ© Ă  partir de l'arbre d'analyse de la requĂȘte.
querytext Texte de l'ordre SQL reprĂ©sentatif
callsbigint Nombre d'exĂ©cutions
total_timedouble precision DurĂ©e d'exĂ©cution de l'instruction SQL, en millisecondes
min_timedouble precision DurĂ©e minimum d'exĂ©cution de l'instruction SQL, en millisecondes
max_timedouble precision DurĂ©e maximum d'exĂ©cution de l'instruction SQL, en millisecondes
mean_timedouble precision DurĂ©e moyenne d'exĂ©cution de l'instruction SQL, en millisecondes
stddev_timedouble precision  DĂ©viation standard de la durĂ©e d'exĂ©cution de l'instruction SQL, en millisecondes
rowsbigint Nombre total de lignes renvoyĂ©es ou affectĂ©es par l'ordre SQL
shared_blks_hitbigint Nombre total de blocs partagĂ©s lus dans le cache par l'ordre SQL
shared_blks_readbigint Nombre total de blocs partagĂ©s lus sur disque par l'ordre SQL
shared_blks_dirtiedbigint Nombre total de blocs partagĂ©s mis Ă  jour par l'ordre SQL
shared_blks_writtenbigint Nombre total de blocs partagĂ©s Ă©crits sur disque par l'ordre SQL
local_blks_hitbigint Nombre total de blocs locaux lus dans le cache par l'ordre SQL
local_blks_readbigint Nombre total de blocs locaux lus sur disque par l'ordre SQL
local_blks_dirtiedbigint Nombre total de blocs locaux mis Ă  jour par l'ordre SQL.
local_blks_writtenbigint Nombre total de blocs locaux Ă©crits sur disque par l'ordre SQL
temp_blks_readbigint Nombre total de blocs temporaires lus par l'ordre SQL
temp_blks_writtenbigint Nombre total de blocs temporaires Ă©crits par l'ordre SQL
blk_read_timedouble precision  DurĂ©e totale du temps passĂ© par l'ordre SQL Ă  lire des blocs, en millisecondes (si track_io_timing est activĂ©, sinon zĂ©ro)
blk_write_timedouble precision  DurĂ©e totale du temps passĂ© par l'ordre SQL Ă  Ă©crire des blocs sur disque, en millisecondes (si track_io_timing est activĂ©, sinon zĂ©ro)

Pour raisons de sĂ©curitĂ©, seuls les super utilisateurs et les membres du rĂŽle pg_read_all_stats sont autorisĂ© Ă  voir le texte SQL ainsi que le champ queryid des requĂȘtes exĂ©cutĂ©es par d'autres utilisateurs. Les autres utilisateurs peuvent cependant voir les statistiques, si la vue a Ă©tĂ© installĂ©e dans leur base de donnĂ©es.

Les requĂȘtes qui disposent d'un plan d'exĂ©cution (c'est-Ă -dire SELECT, INSERT, UPDATE, et DELETE) sont combinĂ©es en une entrĂ©e unique dans pg_stat_statements lorsqu'elles ont un plan d'exĂ©cution similaire (d'aprĂšs leur hachage). En substance, cela signifie que deux requĂȘtes seront considĂ©rĂ©es comme Ă©quivalentes si elles sont sĂ©mantiquement les mĂȘmes mais disposent de valeurs littĂ©rales diffĂ©rentes dans la requĂȘte. Les requĂȘtes utilitaires (c'est-Ă -dire toutes les autres) ne sont considĂ©rĂ©es comme unique que lorsqu'elles sont Ă©gales au caractĂšre prĂšs.

Quand la valeur d'une constante a Ă©tĂ© ignorĂ©e pour pouvoir comparer la requĂȘte Ă  d'autres requĂȘtes, la constante est remplacĂ©e par un symbole de paramĂštre, tel que $1, dans l'affichage de pg_stat_statements. Le reste du texte de la requĂȘte est tel qu'Ă©tait la premiĂšre requĂȘte ayant la valeur de hashage queryid spĂ©cifique associĂ©e Ă  l'entrĂ©e dans pg_stat_statements.

Dans certains cas, les requĂȘtes SQL avec des textes diffĂ©rents peuvent ĂȘtre fusionnĂ©s en une seule entrĂ©e pg_stat_statements. Normalement, cela n'arrive que pour les requĂȘtes dont la sĂ©mantique est Ă©quivalente, mais il y a une petite chance que des collisions de l'algorithme de hachage aient pour consĂ©quence la fusion de requĂȘtes sans rapport en une entrĂ©e. (Cela ne peut cependant pas arriver pour des requĂȘtes appartenant Ă  des utilisateurs diffĂ©rents ou des bases de donnĂ©es diffĂ©rentes).

Puisque la valeur de hachage queryid est calculĂ©e sur la reprĂ©sentation de la requĂȘte aprĂšs analyse, l'inverse est Ă©galement possible : des requĂȘtes avec un texte identique peuvent apparaĂźtre comme des entrĂ©es sĂ©parĂ©es, si elles ont des significations diffĂ©rentes en fonction de facteurs externes, comme des rĂ©glages de search_path diffĂ©rents.

Les programmes utilisant pg_stat_statements pourraient prĂ©fĂ©rer utiliser queryid (peut-ĂȘtre en association avec dbid et userid) pour disposer d'un identifiant plus stable et plus sĂ»r pour chaque entrĂ©e plutĂŽt que le texte de la requĂȘte. Cependant, il est important de comprendre qu'il n'y a qu'une garantie limitĂ©e sur la stabilitĂ© de la valeur de hachage de queryid. Puisque l'identifiant est dĂ©rivĂ© de l'arbre aprĂšs analyse, sa valeur est une fonction, entre autres choses, des identifiants d'objet interne apparaissant dans cette reprĂ©sentation. Cela a des implications paradoxales. Par exemple, pg_stat_statements considĂ©rera deux requĂȘtes apparemment identiques comme distinctes, si elles rĂ©fĂ©rencent une table qui a Ă©tĂ© supprimĂ©e et recréée entre l'exĂ©cution de ces deux requĂȘtes. Le processus de hachage est Ă©galement sensible aux diffĂ©rences d'architecture des machines ainsi que d'autres facettes de la plateforme. De plus, il n'est pas sĂ»r de partir du principe que queryid restera stable entre des versions majeures de PostgreSQL.

Deux serveurs participant Ă  une rĂ©plication basĂ©e sur le rejeu physique des journaux de transactions devraient avoir des valeurs de queryid identiques pour la mĂȘme requĂȘte. Cependant, les systĂšmes de rĂ©plication logique ne promettent pas de conserver des rĂ©plicats identiques surtout les dĂ©tails intĂ©ressants, donc queryid ne sera pas un identifiant utile pour accumuler les coĂ»ts dans un ensemble de rĂ©plicats logiques. En cas de doute, un test direct est recommandĂ©.

En rĂšgle gĂ©nĂ©ral, il peut ĂȘtre supposĂ© que les valeurs queryid sont stables entre des versions mineures de PostgreSQL, en supposant que les instances sont exĂ©cutĂ©es sur la mĂȘme architecture matĂ©rielle et que les dĂ©tails de mĂ©tadonnĂ©es du catalogue correspondent. La compatibilitĂ© entre versions mineures ne sera cassĂ©e qu'en cas de derniĂšre extrĂ©mitĂ©.

Le symbole de paramĂštre utilitĂ© pour remplacer les constantes dans le texte reprĂ©sentatif de la requĂȘte dĂ©marre aprĂšs le plus grand paramĂštre $n dans le texte de la requĂȘte originale, ou $1 s'il n'y en avait pas. Il est intĂ©ressant de noter que dans cerains cas il pourrait y avoir un symbole de paramĂštre cachĂ© qui affecte cette numĂ©rotation. Par exemple, PL/pgSQL utilise des symbole de paramĂštre cachĂ©s pour insĂ©rer des valeurs de variables locales Ă  la fonction dans les requĂȘtes, ainsi un ordre PL/pgSQL comme SELECT i + 1 INTO j aurait un texte reprĂ©sentatif tel que SELECT i + $2.

Les textes des requĂȘtes sont conservĂ©es dans un fichier texte externe et ne consomment pas de mĂ©moire partagĂ©e. De ce fait, mĂȘme les textes trĂšs longs de requĂȘtes peuvent ĂȘtre enregistrĂ©s avec succĂšs. NĂ©anmoins, si beaucoup de textes trĂšs longs de requĂȘtes sont accumulĂ©es, le fichier externe peut devenir suffisamment gros pour ne plus ĂȘtre gĂ©rable. Si cela survient, comme mĂ©thode de restauration, pg_stat_statements peut choisir d'ignorer les textes de requĂȘtes. Dans ce cas, le champ query apparaitra vide sur les lignes de la vue pg_stat_statements mais les statistiques associĂ©es seront prĂ©servĂ©es. Si cela arrive, rĂ©flĂ©chissez Ă  rĂ©duire la valeur du paramĂštre pg_stat_statements.max pour empĂȘcher que cela ne recommence.

F.29.2. Fonctions

pg_stat_statements_reset(userid Oid, dbid Oid, queryid bigint) returns void

pg_stat_statements_reset annule les statistiques rĂ©cupĂ©rĂ©es jusqu'Ă  maintenant par pg_stat_statements correspondant aux userid, dbid et queryid indiquĂ©s. Si un de ces paramĂštres n'est pas spĂ©cifiĂ©, la valeur par dĂ©faut 0 (invalide) est utilisĂ©e pour chacun d'entre eux et les statistiques qui correspondent avec les autres paramĂštres seront rĂ©initialisĂ©es. Si aucun paramĂštre n'est spĂ©cifiĂ© ou si tous les paramĂštres spĂ©cifiĂ©s sont Ă  0 (invalide), elle annulera toutes les statistiques. Par dĂ©faut, cette fonction peut seulement ĂȘtre exĂ©cutĂ©e par les superutilisateurs. L'accĂšs peut ĂȘtre donnĂ© Ă  d'autres utilisateurs en utilisant la commande GRANT.

pg_stat_statements(showtext boolean) returns setof record

La vue pg_stat_statements est basĂ©e sur une fonction Ă©galement nommĂ©e pg_stat_statements. Les clients peuvent appeler la fonction pg_stat_statements directement, et peuvent en spĂ©cifiant showtext := false ne pas rĂ©cupĂ©rer le texte de la requĂȘte (ce qui veut dire que l'argument OUT qui correspond Ă  la colonne query de la vue retournera des NULL). Cette fonctionnalitĂ© est prĂ©vue pour le support d'outils externes qui pourraient vouloir Ă©viter le surcoĂ»t de rĂ©cupĂ©rer de maniĂšre rĂ©pĂ©tĂ©e les textes des requĂȘtes de longueur indeterminĂ©es. De tels outils peuvent Ă  la place eux-mĂȘme mettre le premier texte de requĂȘte rĂ©cupĂ©rĂ© pour chaque entrĂ©e, puisque c'est dĂ©jĂ  ce que fait pg_stat_statements lui-mĂȘme, et ensuite rĂ©cupĂ©rer les textes de requĂȘtes uniquement si nĂ©cessaire. Puisque le serveur stocke les textes de requĂȘte dans un fichier, cette approche pourrait rĂ©duire les entrĂ©e/sorties physiques pour des vĂ©rifications rĂ©pĂ©tĂ©es des donnĂ©es de pg_stat_statements.

F.29.3. ParamĂštres de configuration

pg_stat_statements.max (integer)

pg_stat_statements.max est le nombre maximum d'ordres tracĂ©s par le module (c'est-Ă -dire le nombre maximum de lignes dans la vue pg_stat_statements). Si un nombre supĂ©rieur d'ordres SQL distincts a Ă©tĂ© observĂ©, c'est l'information sur les ordres les moins exĂ©cutĂ©s qui est ignorĂ©e. La valeur par dĂ©faut est 5000. Ce paramĂštre peut uniquement ĂȘtre positionnĂ© au dĂ©marrage du serveur.

pg_stat_statements.track (enum)

pg_stat_statements.track contrĂŽle quels sont les ordres comptabilisĂ©s par le module. SpĂ©cifiez top pour suivre les ordres de plus haut niveau (ceux qui sont soumis directement par les clients), all pour suivre Ă©galement les ordres imbriquĂ©s (tels que les ordres invoquĂ©s dans les fonctions) ou none pour dĂ©sactiver la rĂ©cupĂ©ration des statistiques sur les requĂȘtes. La valeur par dĂ©faut est top. Seuls les super-utilisateurs peuvent changer ce paramĂ©trage.

pg_stat_statements.track_utility (boolean)

pg_stat_statements.track_utility contrÎle si les commandes utilitaires sont tracées par le module. Les commandes utilitaires sont toutes les commandes SQL sauf SELECT, INSERT, UPDATE et DELETE. La valeur par défaut est on. Seuls les superutilisateurs peuvent modifier cette configuration.

pg_stat_statements.save (boolean)

pg_stat_statements.save prĂ©cise s'il faut sauvegarder les statistiques lors des arrĂȘts du serveur. S'il est off, alors les statistiques ne sont pas sauvegardĂ©es lors de l'arrĂȘt ni rechargĂ©es au dĂ©marrage du serveur. La valeur par dĂ©faut est on. Ce paramĂštre peut uniquement ĂȘtre positionnĂ© dans le fichier postgresql.conf ou sur la ligne de commande du serveur.

Le module a besoin de mĂ©moire partagĂ©e supplĂ©mentaire proportionnelle Ă  pg_stat_statements.max. Notez que cette mĂ©moire est consommĂ©e quand le module est chargĂ©, mĂȘme si pg_stat_statements.track est positionnĂ© Ă  none.

Ces paramĂštres doivent ĂȘtre dĂ©finis dans postgresql.conf. Un usage courant pourrait ĂȘtre :

# postgresql.conf
shared_preload_libraries = 'pg_stat_statements'

pg_stat_statements.max = 10000
pg_stat_statements.track = all
  

F.29.4. Exemple de sortie

bench=# SELECT pg_stat_statements_reset();

$ pgbench -i bench
$ pgbench -c10 -t300 bench

bench=# \x
bench=# SELECT query, calls, total_time, rows, 100.0 * shared_blks_hit /
               nullif(shared_blks_hit + shared_blks_read, 0) AS hit_percent
          FROM pg_stat_statements ORDER BY total_time DESC LIMIT 5;
 bench=# SELECT query, calls, total_time, rows, 100.0 * shared_blks_hit /
                nullif(shared_blks_hit + shared_blks_read, 0) AS hit_percent
           FROM pg_stat_statements ORDER BY total_time DESC LIMIT 5;
-[ RECORD 1 ]--------------------------------------------------------------------
query       | UPDATE pgbench_branches SET bbalance = bbalance + $1 WHERE bid = $2
calls       | 3000
total_time  | 25565.855387
rows        | 3000
hit_percent | 100.0000000000000000
-[ RECORD 2 ]--------------------------------------------------------------------
query       | UPDATE pgbench_tellers SET tbalance = tbalance + $1 WHERE tid = $2
calls       | 3000
total_time  | 20756.669379
rows        | 3000
hit_percent | 100.0000000000000000
-[ RECORD 3 ]--------------------------------------------------------------------
query       | copy pgbench_accounts from stdin
calls       | 1
total_time  | 291.865911
rows        | 100000
hit_percent | 100.0000000000000000
-[ RECORD 4 ]--------------------------------------------------------------------
query       | UPDATE pgbench_accounts SET abalance = abalance + $1 WHERE aid = $2
calls       | 3000
total_time  | 271.232977
rows        | 3000
hit_percent | 98.5723926698852723
-[ RECORD 5 ]--------------------------------------------------------------------
query       | alter table pgbench_accounts add primary key (aid)
calls       | 1
total_time  | 160.588563
rows        | 0
hit_percent | 100.0000000000000000


bench=# SELECT pg_stat_statements_reset(0,0,s.queryid) FROM pg_stat_statements AS s
            WHERE s.query = 'UPDATE pgbench_branches SET bbalance = bbalance + $1 WHERE bid = $2';

bench=# SELECT query, calls, total_time, rows, 100.0 * shared_blks_hit /
               nullif(shared_blks_hit + shared_blks_read, 0) AS hit_percent
          FROM pg_stat_statements ORDER BY total_time DESC LIMIT 5;
-[ RECORD 1 ]--------------------------------------------------------------------
query       | UPDATE pgbench_tellers SET tbalance = tbalance + $1 WHERE tid = $2
calls       | 3000
total_time  | 20756.669379
rows        | 3000
hit_percent | 100.0000000000000000
-[ RECORD 2 ]--------------------------------------------------------------------
query       | copy pgbench_accounts from stdin
calls       | 1
total_time  | 291.865911
rows        | 100000
hit_percent | 100.0000000000000000
-[ RECORD 3 ]--------------------------------------------------------------------
query       | UPDATE pgbench_accounts SET abalance = abalance + $1 WHERE aid = $2
calls       | 3000
total_time  | 271.232977
rows        | 3000
hit_percent | 98.5723926698852723
-[ RECORD 4 ]--------------------------------------------------------------------
query       | alter table pgbench_accounts add primary key (aid)
calls       | 1
total_time  | 160.588563
rows        | 0
hit_percent | 100.0000000000000000
-[ RECORD 5 ]--------------------------------------------------------------------
query       | vacuum analyze pgbench_accounts
calls       | 1
total_time  | 136.448116
rows        | 0
hit_percent | 99.9201915403032721

bench=# SELECT pg_stat_statements_reset(0,0,0);

bench=# SELECT query, calls, total_time, rows, 100.0 * shared_blks_hit /
               nullif(shared_blks_hit + shared_blks_read, 0) AS hit_percent
          FROM pg_stat_statements ORDER BY total_time DESC LIMIT 5;
-[ RECORD 1 ]---------------------------------------
query       | SELECT pg_stat_statements_reset(0,0,0)
calls       | 1
total_time  | 0.189497
rows        | 1
hit_percent |

  

F.29.5. Auteurs

Takahiro Itagaki . La normalisation des requĂȘtes a Ă©tĂ© ajoutĂ©e par Peter Geoghegan .