![\"twitter\"](\"https:\/\/blog.capdata.fr\/wp-content\/plugins\/social-media-feather\/synved-social\/image\/social\/regular\/48x48\/twitter.png\" "\\"Share")
<\/a><\/a>![\"linkedin\"](\"https:\/\/blog.capdata.fr\/wp-content\/plugins\/social-media-feather\/synved-social\/image\/social\/regular\/48x48\/linkedin.png\" "\\"Share")
<\/a>![\"mail\"](\"https:\/\/blog.capdata.fr\/wp-content\/plugins\/social-media-feather\/synved-social\/image\/social\/regular\/48x48\/mail.png\" "\\"Share")
<\/a>Salut \u00e0 toutes et tous, aujourd’hui un petit post pour \u00e9voquer les quelques petites modifications apport\u00e9es \u00e0 pg_stat_statements, l’extension phare de PostgreSQL, et qui ont pu passer inaper\u00e7ues depuis le 13 octobre, date de sortie de la derni\u00e8re release majeure du SGBD aux grandes oreilles. <\/p>\n
Si vous n’\u00eates pas familiers de pg_stat_statements je vous renvoie sur mon talk aux PGDays en 2021<\/a>.<\/p>\n Si on regarde d’un peu plus pr\u00e8s la documentation de r\u00e9f\u00e9rence<\/a>, on va retrouver deux ajouts principaux: <\/p>\n Tout d’abord en version 14, les colonnes blk_read_time<\/em> et blk_write_time<\/em> comptabilisaient les entr\u00e9es \/ sorties vers tous les blocs, \u00e0 la fois data et temporary. En version 15, deux nouvelles colonnes temp_blk_read_time <\/em>et temp_blk_write_time<\/em> sont ajout\u00e9es \u00e0 la vue, pour s\u00e9parer les deux types d’acc\u00e8s. Les anciennes colonnes ne font donc plus r\u00e9f\u00e9rence qu’aux acc\u00e8s aux blocs de data, et les 2 nouvelles qu’aux acc\u00e8s aux blocs temporary. <\/p>\n La deuxi\u00e8me diff\u00e9rence qui est nettement plus visible, est l’ajout de toute la m\u00e9trologie associ\u00e9e \u00e0 la compilation Jit, introduite en 2018 pour la version 11 par Andres Freund<\/a>, et qui permet d’acc\u00e9l\u00e9rer l’ex\u00e9cution de code PL\/PGSQL davantage en le compilant en langage natif \u00e0 l’ex\u00e9cution, si le co\u00fbt d\u00e9passe un seuil fix\u00e9 par le param\u00e8tre jit_above_cost<\/a>. Parmi ces nouvelles colonnes : <\/p>\n Petit test pour voir avec une bonne grosse requ\u00eate qui va nous faire un parallel seq scan et un hash aggregate en sortie, le tout sur 40 millions de lignes. Pour avoir un peu de volum\u00e9trie j’utilise la base de test de musicbrainz<\/a> que je vous recommande: <\/p>\n OK on voit bien qu’avec notre cost final de +2399394 on est au dessus des 100K minimums n\u00e9cessaire pour forcer le JIT. Ex\u00e9cutons la requ\u00eate pour voir ce que l’on retrouve dans pg_stat_statements:<\/p>\n Le cost \u00e9tant \u00e0 2M+ on aura donc \u00e0 la fois inlining et optimization car les 2 seuils jit_inline_above_cost<\/em> et jit_optimize_above_cost <\/em>sont \u00e0 500K, ce qui est confirm\u00e9 par la sortie de PGSS ci-dessus.<\/p>\n Pour ce qui est de la version 16, qui devrait \u00eatre ouverte en Beta d’ici un ou deux mois, pour l’instant pas d’ajout de nouvelle colonne <\/a>\u00e0 l’horizon. <\/p>\n Pensez \u00e0 vous abonner \u00e0 la page linkedin <\/a> et \u00e0 la cha\u00eene youtube<\/a> de Capdata si ce n’est pas d\u00e9j\u00e0 fait ! Salut \u00e0 toutes et tous, aujourd’hui un petit post pour \u00e9voquer les quelques petites modifications apport\u00e9es \u00e0 pg_stat_statements, l’extension phare de PostgreSQL, et qui ont pu passer inaper\u00e7ues depuis le 13 octobre, date de sortie de la derni\u00e8re release majeure… Continuer la lecture S\u00e9paration des stats IO data & temporary<\/h1>\n
Infos sur les compilations JIT:<\/h1>\n
\r\njit_functions\u00a0 : Total number of functions JIT-compiled by the statement\r\njit_generation_time\u00a0 : Total time spent by the statement on generating JIT code, in milliseconds\r\njit_inlining_count : Number of times functions have been inlined\r\njit_inlining_time : Total time spent by the statement on inlining functions, in milliseconds\r\njit_optimization_count : Number of times the statement has been optimized\r\njit_optimization_time : Total time spent by the statement on optimizing, in milliseconds\r\njit_emission_count : Number of times code has been emitted\r\njit_emission_time : Total time spent by the statement on emitting code, in milliseconds\r\n<\/pre>\n
\r\n(postgres@[local]:5432) [postgres] > select name, setting from pg_settings where name in ('jit','jit_above_cost') ;\r\n name | setting \r\n----------------+---------\r\n jit | on\r\n jit_above_cost | 100000\r\n(2 rows)\r\n\r\n(postgres@[local]:5432) [postgres] > \\c musicbrainz\r\nYou are now connected to database "musicbrainz" as user "postgres".\r\n\r\n(postgres@[local]:5432) [musicbrainz] > explain select name, count(id), avg(length) from track group by name having count(id) > 5 ;\r\n QUERY PLAN \r\n---------------------------------------------------------------------------------------------------\r\n Finalize GroupAggregate (cost=2399394.22..2481941.16 rows=104483 width=60)\r\n Group Key: name\r\n Filter: (count(id) > 5)\r\n -> Gather Merge (cost=2399394.22..2472537.66 rows=626900 width=60)\r\n Workers Planned: 2\r\n -> Sort (cost=2398394.20..2399177.83 rows=313450 width=60)\r\n Sort Key: name\r\n -> Partial HashAggregate (cost=2124704.40..2357991.54 rows=313450 width=60)\r\n Group Key: name\r\n Planned Partitions: 16\r\n -> Parallel Seq Scan on track (cost=0.00..741158.22 rows=16834022 width=28)\r\n JIT:\r\n Functions: 8\r\n Options: Inlining true, Optimization true, Expressions true, Deforming true\r\n(14 rows)\r\n<\/pre>\n\r\n(postgres@[local]:5432) [musicbrainz] > select name, count(id), avg(length) from track group by name having count(id) > 5 ;\r\n(...)\r\n(746785 rows)\r\nTime: 210439.640 ms (03:30.440)\r\n\r\n(postgres@[local]:5432) [postgres] > \\x\r\nExpanded display is on.\r\n(postgres@[local]:5432) [postgres] > select * from pg_stat_statements where query like 'select name, count(id), avg(length) from track%' ;\r\n-[ RECORD 1 ]----------+-----------------------------------------------------------------------------------\r\nuserid | 10\r\ndbid | 16388\r\ntoplevel | t\r\nqueryid | 6022129428306982548\r\nquery | select name, count(id), avg(length) from track group by name having count(id) > $1\r\nplans | 0\r\ntotal_plan_time | 0\r\nmin_plan_time | 0\r\nmax_plan_time | 0\r\nmean_plan_time | 0\r\nstddev_plan_time | 0\r\ncalls | 1\r\ntotal_exec_time | 210435.894037\r\nmin_exec_time | 210435.894037\r\nmax_exec_time | 210435.894037\r\nmean_exec_time | 210435.894037\r\nstddev_exec_time | 0\r\nrows | 746785\r\nshared_blks_hit | 16\r\nshared_blks_read | 572818\r\nshared_blks_dirtied | 0\r\nshared_blks_written | 0\r\nlocal_blks_hit | 0\r\nlocal_blks_read | 0\r\nlocal_blks_dirtied | 0\r\nlocal_blks_written | 0\r\ntemp_blks_read | 1071638\r\ntemp_blks_written | 1325851\r\nblk_read_time | 0\r\nblk_write_time | 0\r\ntemp_blk_read_time | 0\r\ntemp_blk_write_time | 0\r\nwal_records | 0\r\nwal_fpi | 0\r\nwal_bytes | 0\r\njit_functions | 15\r\njit_generation_time | 1.491564\r\njit_inlining_count | 1\r\njit_inlining_time | 237.918294\r\njit_optimization_count | 1\r\njit_optimization_time | 360.290152\r\njit_emission_count | 1\r\njit_emission_time | 230.831919\r\n<\/pre>\n
\nA+ <\/p>\n<\/a><\/a><\/a>","protected":false},"excerpt":{"rendered":"