![\"twitter\"](\"https:\/\/blog.capdata.fr\/wp-content\/plugins\/social-media-feather\/synved-social\/image\/social\/regular\/48x48\/twitter.png\" "\\"Share")
<\/a><\/a>![\"linkedin\"](\"https:\/\/blog.capdata.fr\/wp-content\/plugins\/social-media-feather\/synved-social\/image\/social\/regular\/48x48\/linkedin.png\" "\\"Share")
<\/a>![\"mail\"](\"https:\/\/blog.capdata.fr\/wp-content\/plugins\/social-media-feather\/synved-social\/image\/social\/regular\/48x48\/mail.png\" "\\"Share")
<\/a>La gestion efficace de l’espace disque dans PostgreSQL est une pr\u00e9occupation constante pour les administrateurs de bases de donn\u00e9es. C’est l\u00e0 qu’intervient le processus de “vacuum”, une fonctionnalit\u00e9 puissante et complexe qui peut jouer un r\u00f4le d\u00e9terminant dans la performance et la stabilit\u00e9 de votre base de donn\u00e9es PostgreSQL. Cependant, comme toute arme \u00e0 double tranchant, le vacuum apporte \u00e0 la fois des avantages consid\u00e9rables et des d\u00e9fis potentiels.<\/p>\n
Le principal reproche que l’on peut adresser au syst\u00e8me de vacuum (et \u00e0 l’auto-vacuum par extension) est sa consommation importante de ressources. C’est l’une des raisons majeures \u00e9voqu\u00e9es par les grandes entreprises qui optent pour un autre SGBD, comme Uber, qui a migr\u00e9 vers MySQL pour remplacer PostgreSQL<\/a>.<\/p>\n OrioleDB <\/a>nous propose une approche novatrice de la gestion de la fragmentation (bloat) et de l’espace disque de vos tables PostgreSQL. La principale promesse de ce nouveau moteur d\u00e9velopp\u00e9 par la soci\u00e9t\u00e9 Oriole est d’\u00e9liminer le besoin de vacuum r\u00e9gulier et de longues p\u00e9riodes de maintenance pour nos bases de donn\u00e9es.<\/p>\n Cette innovation s’articule autour de journaux d’annulation au niveau de la ligne et du bloc, ainsi que de la fusion automatique des pages. Les journaux d’annulation au niveau des lignes et des blocs offrent un contr\u00f4le plus pr\u00e9cis, permettant une gestion plus efficace des modifications de donn\u00e9es. La fonction de fusion automatique des pages travaille en arri\u00e8re-plan pour regrouper les donn\u00e9es fragment\u00e9es, am\u00e9liorant ainsi encore davantage l’efficacit\u00e9 du syst\u00e8me. Le moteur est actuellement disponible en version b\u00eata sur le site d’OrioleDB.<\/p>\n Dans cet article, je vais vous montrer comment installer OrioleDB et r\u00e9aliser un test comparatif entre une instance classique et une instance OrioleDB en termes d’espace disque occup\u00e9. Je vais utiliser notre agent AllDB de supervision des bases de donn\u00e9es <\/a>pour g\u00e9n\u00e9rer des graphiques de la consommation d’espace disque.<\/p>\n Pour pouvoir tester le nouveau moteur, il nous faut l’installer. Pour cela, deux solutions s’offrent \u00e0 nous. On peut choisir de le compiler nous-m\u00eames \u00e0 partir du code source fourni par Oriole, ou on peut choisir d’utiliser le conteneur Docker mis \u00e0 notre disposition.<\/p>\n Pour des raisons de rapidit\u00e9 de mise en place, j’ai choisi d’utiliser le conteneur fourni.<\/p>\n Pour commencer, j’installe Docker sur ma machine.<\/p>\n Pour tester que mon installation fonctionne correctement, je peux d\u00e9marrer l’image hello-world par d\u00e9faut de Docker.<\/p>\n Docker est correctement install\u00e9, nous pouvons \u00e0 pr\u00e9sent aller r\u00e9cup\u00e9rer l’image Oriole depuis les d\u00e9p\u00f4ts (repositories). J’ai choisi de r\u00e9cup\u00e9rer l’image “latest” de la version 14, avec laquelle je vais effectuer mes tests.<\/p>\n On v\u00e9rifie que notre image est bien pr\u00e9sente, et on l’\u00e9xecute :<\/p>\n Notre serveur est correctement d\u00e9marr\u00e9. Nous pouvons maintenant nous y connecter \u00e0 partir d’un autre terminal et pr\u00e9parer le cas de test. Pour ce faire, nous allons cr\u00e9er une nouvelle base de donn\u00e9es sur laquelle nous effectuerons un test de charge avec pg_bench.<\/p>\n Notre environnement de test est pr\u00eat. Afin de pouvoir comparer les performances avec une instance PostgreSQL plus traditionnelle, j’ai \u00e9galement install\u00e9 une version legacy en local sur la machine que j’utilise. J’ai cr\u00e9\u00e9 la m\u00eame table et les m\u00eames index que dans mon conteneur Docker. Pour r\u00e9aliser ce test, j’ai repris le script pg_bench de test fourni par Oriole.<\/p>\n Ce petit script de test permet de lancer des insertions successives de donn\u00e9es dans notre table de test. Il est con\u00e7u pour maximiser les chances de fragmentation \u00e0 mesure que nous ins\u00e9rons des donn\u00e9es dans notre table, car les doublons de cl\u00e9 primaire entra\u00eenent la mise \u00e0 jour d’anciennes lignes. Cela devrait donc nous permettre de constater la diff\u00e9rence d’espace disque entre une version standard de PostgreSQL et la version du moteur d\u00e9velopp\u00e9e par Oriole.<\/p>\n Mes tests sont r\u00e9alis\u00e9s sur une machine Amazon EC2 de type “large”, \u00e9quip\u00e9e de 7 gigaoctets de RAM et de 2 unit\u00e9s de traitement central (CPU).<\/p>\n Voici la capture d’\u00e9cran de l’occupation de l’espace disque pour le premier test, celui concernant l’instance OrioleDB :<\/p>\n On peut observer que la progression de la taille de l’instance est r\u00e9guli\u00e8re et tr\u00e8s mod\u00e9r\u00e9e. Pendant le test, j’ai surveill\u00e9 l’utilisation de la RAM de la machine, qui atteignait un pic \u00e0 95 % et demeurait relativement stable pendant toute la dur\u00e9e du test. Conform\u00e9ment \u00e0 la promesse du moteur, aucun processus d’autovacuum n’a \u00e9t\u00e9 constat\u00e9 pendant le processus.<\/p>\n En comparaison, le graphique de la base de donn\u00e9es non Oriole pr\u00e9sente une nette diff\u00e9rence :<\/p>\n On observe notamment de nombreux pics et chutes fr\u00e9quents dus aux vacuums organis\u00e9s r\u00e9guli\u00e8rement. Le trac\u00e9 n’est pas lin\u00e9aire.<\/p>\n De plus, en surveillant les valeurs d’utilisation CPU, \u00e0 la diff\u00e9rence d’Oriole o\u00f9 les valeurs \u00e9taient constantes car il \u00e9tait toujours en train d’ajouter des donn\u00e9es, les moments de vacuum de la base provoquent d’importantes mont\u00e9es de charge, suivies de chutes lorsque ces processus sont termin\u00e9s sur notre instance de base.<\/p>\n Sur le blog d’OrioleDB, les graphiques affich\u00e9s sont le r\u00e9sultat de l’injection de 80 gigaoctets de donn\u00e9es dans leur base de donn\u00e9es \u00e0 l’aide de pg_bench. Cependant, lorsque l’on examine les sp\u00e9cifications de la machine qu’ils ont utilis\u00e9e pour leurs tests, on se rend compte qu’elle n’est pas \u00e0 la port\u00e9e de toutes les bourses. La machine utilis\u00e9e comprend en effet 72 CPU et dispose d’un total de 144 Go de RAM, une configuration que tr\u00e8s peu de personnes, principalement en raison du co\u00fbt \u00e9lev\u00e9 de ce type de mat\u00e9riel, pourraient envisager pour leur infrastructure.<\/p>\n Oriole fonctionne, comme nous l’avons vu sur les graphiques que j’ai comment\u00e9s pr\u00e9c\u00e9demment. Cependant, il s’agit d’un outil con\u00e7u pour les architectures de tr\u00e8s grande envergure et les besoins importants en termes d’entr\u00e9es\/sorties de donn\u00e9es. Les gains ne sont pas aussi significatifs sur des machines de plus petite taille, qui correspondent davantage \u00e0 la r\u00e9alit\u00e9 de nombreuses entreprises actuelles.<\/p>\n La gestion efficace de l’espace disque dans PostgreSQL est une pr\u00e9occupation constante pour les administrateurs de bases de donn\u00e9es. C’est l\u00e0 qu’intervient le processus de “vacuum”, une fonctionnalit\u00e9 puissante et complexe qui peut jouer un r\u00f4le d\u00e9terminant dans la performance… Continuer la lecture Installation d’OrioleDB :<\/h2>\n
root@ip-172-44-2-190:~$ sudo apt-get update\r\n(...)\r\nReading package lists... Done\r\nroot@ip-172-44-2-190:~$ sudo apt-get install ca-certificates curl gnupg\r\nReading package lists... Done\r\n(...)\r\nNo VM guests are running outdated hypervisor (qemu) binaries on this host.\r\nroot@ip-172-44-2-190:~$ sudo install -m 0755 -d \/etc\/apt\/keyrings\r\nroot@ip-172-44-2-190:~$ curl -fsSL https:\/\/download.docker.com\/linux\/ubuntu\/gpg | sudo gpg --dearmor -o \/etc\/apt\/keyrings\/docker.gpg\r\nroot@ip-172-44-2-190:~$ sudo chmod a+r \/etc\/apt\/keyrings\/docker.gpg\r\nroot@ip-172-44-2-190:~$ echo \\\r\n"deb [arch="$(dpkg --print-architecture)" signed-by=\/etc\/apt\/keyrings\/docker.gpg] https:\/\/download.docker.com\/linux\/ubuntu \\\r\n"$(. \/etc\/os-release && echo "$VERSION_CODENAME")" stable" | \\\r\nsudo tee \/etc\/apt\/sources.list.d\/docker.list > \/dev\/null\r\nsudo apt-get update\r\nHit:1 http:\/\/eu-west-3.ec2.archive.ubuntu.com\/ubuntu jammy InRelease\r\nHit:2 http:\/\/eu-west-3.ec2.archive.ubuntu.com\/ubuntu jammy-updates InRelease\r\n(...)\r\nNo VM guests are running outdated hypervisor (qemu) binaries on this host.<\/pre>\n
root@ip-172-44-2-190:~$ sudo docker run hello-world\r\nUnable to find image 'hello-world:latest' locally\r\nlatest: Pulling from library\/hello-world\r\n719385e32844: Pull complete\r\nDigest: sha256:4f53e2564790c8e7856ec08e384732aa38dc43c52f02952483e3f003afbf23db\r\nStatus: Downloaded newer image for hello-world:latest\r\n\r\nHello from Docker!\r\nThis message shows that your installation appears to be working correctly.\r\n\r\nTo generate this message, Docker took the following steps:\r\n1. The Docker client contacted the Docker daemon.\r\n2. The Docker daemon pulled the "hello-world" image from the Docker Hub.\r\n(amd64)\r\n3. The Docker daemon created a new container from that image which runs the\r\nexecutable that produces the output you are currently reading.\r\n4. The Docker daemon streamed that output to the Docker client, which sent it\r\nto your terminal.\r\n\r\nTo try something more ambitious, you can run an Ubuntu container with:\r\n$ docker run -it ubuntu bash\r\n\r\nShare images, automate workflows, and more with a free Docker ID:\r\nhttps:\/\/hub.docker.com\/\r\n\r\nFor more examples and ideas, visit:\r\nhttps:\/\/docs.docker.com\/get-started\/<\/pre>\n
root@ip-172-44-2-190:~# docker pull orioledb\/orioledb:latest-pg14\r\nlatest-pg14: Pulling from orioledb\/orioledb\r\n7264a8db6415: Pull complete\r\n4e0888d8a332: Pull complete\r\n4b0510894ae7: Pull complete\r\ndc5da57566a1: Pull complete\r\n9611602787a1: Pull complete\r\n8f68f9452236: Pull complete\r\n5c92ed25d025: Pull complete\r\n11bb162cfe7a: Pull complete\r\n6f375d990892: Pull complete\r\n6ac166496e68: Pull complete\r\nDigest: sha256:4d408916e929ff0bcea11fee91ca5e69b0929be1afa58b5dbbcddcce340089ef\r\nStatus: Downloaded newer image for orioledb\/orioledb:latest-pg14\r\ndocker.io\/orioledb\/orioledb:latest-pg14<\/pre>\n
root@ip-172-44-2-190:~# docker image ls --all\r\nREPOSITORY TAG IMAGE ID CREATED SIZE\r\norioledb\/orioledb latest-pg14 cd7f629f705e 10 days ago 270MB\r\nhello-world latest 9c7a54a9a43c 4 months ago 13.3kB <\/pre>\n
root@ip-172-44-2-190:~# docker run -e POSTGRES_PASSWORD=password cd7f629f705e\r\nThe files belonging to this database system will be owned by user "postgres".\r\nThis user must also own the server process.\r\n\r\nThe database cluster will be initialized with locale "en_US.utf8".\r\nThe default database encoding has accordingly been set to "UTF8".\r\nThe default text search configuration will be set to "english".\r\n\r\nData page checksums are disabled.\r\n\r\nfixing permissions on existing directory \/var\/lib\/postgresql\/data ... ok\r\ncreating subdirectories ... ok\r\nselecting dynamic shared memory implementation ... posix\r\nselecting default max_connections ... 100\r\nselecting default shared_buffers ... 128MB\r\nselecting default time zone ... UTC\r\ncreating configuration files ... ok\r\nrunning bootstrap script ... ok\r\nperforming post-bootstrap initialization ... sh: locale: not found\r\n2023-09-21 09:51:08.177 UTC [30] WARNING: no usable system locales were found\r\nok\r\nsyncing data to disk ... ok\r\n\r\nSuccess. You can now start the database server using:\r\n\r\npg_ctl -D \/var\/lib\/postgresql\/data -l logfile start\r\n\r\ninitdb: warning: enabling "trust" authentication for local connections\r\nYou can change this by editing pg_hba.conf or using the option -A, or\r\n--auth-local and --auth-host, the next time you run initdb.\r\nwaiting for server to start....2023-09-21 09:51:09.294 UTC [36] LOG: OrioleDB public beta 2 started\r\n2023-09-21 09:51:09.295 UTC [36] LOG: starting PostgreSQL 14.9 OrioleDB public beta 2 PGTAG=patches14_16 alpine:3.18+clang-15 build:2023-09-10T16:41:50+00:00 on x86_64-pc-linux-musl, compiled by Alpine clang version 15.0.7, 64-bit\r\n2023-09-21 09:51:09.300 UTC [36] LOG: listening on Unix socket "\/var\/run\/postgresql\/.s.PGSQL.5432"\r\n2023-09-21 09:51:09.316 UTC [37] LOG: database system was shut down at 2023-09-21 09:51:08 UTC\r\n2023-09-21 09:51:09.316 UTC [38] LOG: orioledb background writer started\r\n2023-09-21 09:51:09.323 UTC [36] LOG: database system is ready to accept connections\r\ndone\r\nserver started\r\n\r\n\/usr\/local\/bin\/docker-entrypoint.sh: ignoring \/docker-entrypoint-initdb.d\/*\r\n\r\nwaiting for server to shut down...2023-09-21 09:51:09.350 UTC [36] LOG: received fast shutdown request\r\n.2023-09-21 09:51:09.353 UTC [36] LOG: aborting any active transactions\r\n2023-09-21 09:51:09.354 UTC [38] LOG: orioledb bgwriter is shut down\r\n2023-09-21 09:51:09.357 UTC [36] LOG: background worker "logical replication launcher" (PID 44) exited with exit code 1\r\n2023-09-21 09:51:09.357 UTC [39] LOG: shutting down\r\n2023-09-21 09:51:09.360 UTC [39] LOG: orioledb checkpoint 1 started\r\n2023-09-21 09:51:09.601 UTC [39] LOG: orioledb checkpoint 1 complete\r\n2023-09-21 09:51:09.631 UTC [36] LOG: database system is shut down\r\ndone\r\nserver stopped\r\n\r\nPostgreSQL init process complete; ready for start up.\r\n\r\n2023-09-21 09:51:09.712 UTC [1] LOG: OrioleDB public beta 2 started\r\n2023-09-21 09:51:09.764 UTC [1] LOG: starting PostgreSQL 14.9 OrioleDB public beta 2 PGTAG=patches14_16 alpine:3.18+clang-15 build:2023-09-10T16:41:50+00:00 on x86_64-pc-linux-musl, compiled by Alpine clang version 15.0.7, 64-bit\r\n2023-09-21 09:51:09.764 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432\r\n2023-09-21 09:51:09.764 UTC [1] LOG: listening on IPv6 address "::", port 5432\r\n2023-09-21 09:51:09.770 UTC [1] LOG: listening on Unix socket "\/var\/run\/postgresql\/.s.PGSQL.5432"\r\n2023-09-21 09:51:09.778 UTC [49] LOG: database system was shut down at 2023-09-21 09:51:09 UTC\r\n2023-09-21 09:51:09.778 UTC [50] LOG: orioledb background writer started\r\n2023-09-21 09:51:09.785 UTC [1] LOG: database system is ready to accept connections\r\n2023-09-21 09:54:23.633 UTC [68] FATAL: role "root" does not exist\r\n2023-09-21 09:56:09.884 UTC [51] LOG: orioledb checkpoint 2 started\r\n2023-09-21 09:56:10.100 UTC [51] LOG: orioledb checkpoint 2 complete <\/pre>\n
root@ip-172-44-2-190:~# docker ps\r\nCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES\r\n11c0860b7abc cd7f629f705e "docker-entrypoint.s\u2026" 2 minutes ago Up 2 minutes 5432\/tcp funny_hellman\r\nroot@ip-172-44-2-190:~# docker exec -it 11c0860b7abc bash\r\n11c0860b7abc:\/# su - postgres\r\n11c0860b7abc:~$ psql\r\npsql (14.9 OrioleDB public beta 2 PGTAG=patches14_16 alpine:3.18+clang-15 build:2023-09-10T16:41:50+00:00)\r\nType "help" for help.<\/pre>\n
postgres=# create database pg_bench;\r\nCREATE DATABASE\r\npostgres=# \\c pg_bench\r\nYou are now connected to database "pg_bench" as user "postgres".\r\npg_bench=# CREATE TABLE test (\r\npg_bench(# id integer primary key,\r\npg_bench(# value1 float8 not null,\r\npg_bench(# value2 float8 not null,\r\npg_bench(# value3 float8 not null,\r\npg_bench(# value4 float8 not null,\r\npg_bench(# ts timestamp not null\r\npg_bench(# );\r\nCREATE TABLE\r\npg_bench=# CREATE INDEX test_value1_idx ON test (value1);\r\nCREATE INDEX\r\npg_bench=# CREATE INDEX test_value2_idx ON test (value2);\r\nCREATE INDEX\r\npg_bench=# CREATE INDEX test_value3_idx ON test (value3);\r\nCREATE INDEX\r\npg_bench=# CREATE INDEX test_value4_idx ON test (value4);\r\nCREATE INDEX\r\npg_bench=# CREATE INDEX test_ts_idx ON test (ts);\r\nCREATE INDEX <\/pre>\n
11c0860b7abc:~$ cat test.sql\r\n\\set id random(1, 10000000)\r\nINSERT INTO test VALUES(:id, random(), random(), random(), random(), now() - random() * random() * 1800 * interval '1 second')\r\nON CONFLICT (id) DO UPDATE SET ts = now();<\/pre>\n
R\u00e9sultats des test :<\/h2>\n
![\"\"](\"https:\/\/blog.capdata.fr\/wp-content\/uploads\/2023\/10\/OrioleDB.png\")
<\/a><\/p>\n![\"\"](\"https:\/\/blog.capdata.fr\/wp-content\/uploads\/2023\/10\/nonOrioleDB.png\")
<\/a><\/p>\nConclusion :<\/h2>\n
<\/a><\/a><\/a>","protected":false},"excerpt":{"rendered":"