{"id":10620,"date":"2024-12-03T08:22:34","date_gmt":"2024-12-03T07:22:34","guid":{"rendered":"https:\/\/blog.capdata.fr\/?p=10620"},"modified":"2024-12-03T08:26:20","modified_gmt":"2024-12-03T07:26:20","slug":"pg_vector-lia-et-postgresql","status":"publish","type":"post","link":"https:\/\/blog.capdata.fr\/index.php\/pg_vector-lia-et-postgresql\/","title":{"rendered":"pg_vector : l’IA et PostgreSQL"},"content":{"rendered":"\"twitter\"<\/a>\"linkedin\"<\/a>\"mail\"<\/a>

1. Introduction : L’intelligence artificielle et le r\u00f4le des bases de donn\u00e9es<\/h2>\n

L’intelligence artificielle (IA) conna\u00eet une popularit\u00e9 croissante, des assistants virtuels aux voitures autonomes, en passant par les recommandations de films et de produits. Mais pour que ces technologies fonctionnent, elles ont besoin de donn\u00e9es, souvent en grande quantit\u00e9. C\u2019est l\u00e0 qu\u2019interviennent les bases de donn\u00e9es : elles stockent, g\u00e8rent et permettent d’acc\u00e9der \u00e0 ces donn\u00e9es de mani\u00e8re efficace.<\/p>\n

Les bases de donn\u00e9es, comme PostgreSQL, ont donc un r\u00f4le cl\u00e9 dans l\u2019IA. Mais l’IA ne traite pas toujours des informations simples comme des noms ou des chiffres ; souvent, elle doit manipuler des informations complexes, comme des repr\u00e9sentations num\u00e9riques d’images, de sons, ou de textes. Pour g\u00e9rer ces donn\u00e9es sp\u00e9cifiques, il faut des outils adapt\u00e9s, et c’est l\u00e0 que l’extension pg_vector de PostgreSQL entre en jeu.<\/p>\n

2. Les vecteurs en informatique et dans pg_vector<\/h2>\n

Dans le cadre de l\u2019informatique, un vecteur est simplement une liste de nombres. Ces nombres peuvent repr\u00e9senter n\u2019importe quoi : les caract\u00e9ristiques d\u2019un produit, les mots d\u2019un texte ou m\u00eame une image. Par exemple, pour un document texte, chaque mot peut \u00eatre transform\u00e9 en une s\u00e9rie de nombres qui capture son sens dans un certain contexte.<\/p>\n

L\u2019extension pg_vector permet \u00e0 PostgreSQL de stocker et de manipuler ces vecteurs. Elle offre un moyen simple de les utiliser directement dans une base de donn\u00e9es. Imaginons que nous avons des centaines de documents et que nous souhaitions rechercher les plus similaires \u00e0 un texte donn\u00e9 : en stockant les repr\u00e9sentations num\u00e9riques (ou embeddings) de ces documents sous forme de vecteurs, nous pouvons facilement comparer leur similarit\u00e9 gr\u00e2ce \u00e0 pg_vector.<\/p>\n

3. Le lien entre l’IA et les vecteurs<\/h2>\n

L’intelligence artificielle repose sur la capacit\u00e9 \u00e0 comprendre et traiter des informations complexes. Par exemple, quand une IA doit reconna\u00eetre une image, elle ne “voit” pas comme nous. Au lieu de cela, l’image est transform\u00e9e en une s\u00e9rie de nombres, un vecteur, qui repr\u00e9sente ses caract\u00e9ristiques (couleurs, formes, etc.).<\/p>\n

Le m\u00eame principe s\u2019applique au texte. Les mod\u00e8les de traitement du langage, comme ceux utilis\u00e9s par les moteurs de recherche ou les chatbots, transforment chaque mot ou phrase en vecteur. Ces vecteurs capturent le sens des mots et permettent \u00e0 l’IA de manipuler des informations complexes sans “comprendre” le langage humain.<\/p>\n

C’est ici que les embeddings entrent en jeu. Un embedding est un vecteur qui repr\u00e9sente des donn\u00e9es sous une forme que l\u2019IA peut utiliser. Par exemple, dans un syst\u00e8me de recommandation, chaque produit est converti en un embedding, et les produits les plus proches de celui que nous venons de consulter (en termes de vecteur) nous seront recommand\u00e9s. Gr\u00e2ce \u00e0 pg_vector, ces embeddings peuvent \u00eatre stock\u00e9s et compar\u00e9s directement dans une base de donn\u00e9es.<\/p>\n

4. Pourquoi est-ce utile ?<\/h2>\n

L’extension pg_vector est tr\u00e8s utile pour des applications qui n\u00e9cessitent la recherche par similarit\u00e9. Par exemple, dans un moteur de recherche, si nous voulons trouver les documents les plus proches d’un texte donn\u00e9, pg_vector permet de comparer les vecteurs (ou embeddings) de chaque document pour voir lesquels sont les plus similaires.<\/p>\n

Autre exemple, dans une plateforme de streaming musical, chaque chanson peut \u00eatre convertie en vecteur qui repr\u00e9sente ses caract\u00e9ristiques (comme le tempo, la tonalit\u00e9, etc.). Gr\u00e2ce \u00e0 pg_vector, on peut facilement recommander des chansons similaires \u00e0 celles que nous \u00e9coutons.<\/p>\n

L\u2019avantage de pg_vector, c\u2019est qu\u2019il permet de g\u00e9rer ces vecteurs directement dans la base de donn\u00e9es, ce qui \u00e9vite de passer par des syst\u00e8mes externes plus complexes. Cela simplifie le d\u00e9veloppement et am\u00e9liore la performance, car tout est g\u00e9r\u00e9 au m\u00eame endroit.<\/p>\n

5. Le test<\/h2>\n

Pour d\u00e9montrer le fonctionnement de l’extension, rien de tel qu’un petit test pour \u00e9prouver les fonctionnalit\u00e9s qu’elle propose. Le test sera plut\u00f4t simple et succinct pour \u00eatre accessible. Le pr\u00e9requi est d’avoir une version PostgreSQL 14 ou plus r\u00e9cente d’install\u00e9e.<\/p>\n

Etape 1 :<\/h3>\n

On commence par installer l’extension pg_vector. Pour cela, nous allons avoir besoin d’un certain nombre d’outils pour le faire fonctionner. Une partie de ces outils sont disponible dans la distribution dev de PostgreSQL<\/p>\n

\r\nroot@ip-192-1-1-201:~# sudo apt install postgresql-server-dev-14\r\n<\/pre>\n
Nous aurons \u00e9galement besoin de gcc et make :<\/p>\n
\r\nroot@ip-192-1-1-201:~# apt install make\r\nroot@ip-192-1-1-201:~# apt-get install gcc\r\n<\/pre>\n
On effectue ensuite un git clone du projet :<\/p>\n
\r\nroot@ip-192-1-1-201:~# git clone https:\/\/github.com\/pgvector\/pgvector.git\r\n<\/pre>\n
Et une fois que c’est fait, on l’installe avec make :<\/p>\n
\r\nroot@ip-192-1-1-201:~# cd pgvector\r\nroot@ip-192-1-1-201:~# make &amp;&amp; sudo make install\r\n<\/pre>\n
Etape 2 :<\/h3>\n
On se connecte \u00e0 PostgreSQL pour cr\u00e9er l’extension. Au passage, on cr\u00e9\u00e9 aussi une base de donn\u00e9es pour faire nos test.<\/p>\n
\r\nroot@ip-192-1-1-201:~# su - postgres\r\npostgres@ip-192-1-1-201:~$ psql\r\npsql (14.13 (Ubuntu 14.13-0ubuntu0.22.04.1))\r\nType "help" for help.\r\n<\/pre>\n
\r\npostgres=# create database test_vector;\r\nCREATE DATABASE\r\npostgres=# \\c test_vector\r\nYou are now connected to database "test_vector" as user "postgres".\r\ntest_vector=# CREATE EXTENSION vector;\r\nCREATE EXTENSION\r\n<\/pre>\n
Et dans la foul\u00e9e, on cr\u00e9e une table qui contient les vecteurs sur lesquels nous allons faire les test<\/p>\n
\r\ntest_vector=# CREATE TABLE documents (\r\nid SERIAL PRIMARY KEY,\r\ntitle TEXT,\r\nembedding vector(3) -- vecteur de dimension 3 pour cet exemple\r\n);\r\nCREATE TABLE\r\n<\/pre>\n
Insertion des donn\u00e9es d’exemple :<\/p>\n
\r\ntest_vector=# INSERT INTO documents (title, embedding) VALUES\r\n('Document 1', '[0.1, 0.2, 0.3]'),\r\n('Document 2', '[0.4, 0.5, 0.6]'),\r\n('Document 3', '[0.9, 0.8, 0.7]');\r\nINSERT 0 3\r\n<\/pre>\n
Etape 3 :<\/h3>\n
Nous avons deux types de choses \u00e0 tester pour montrer l’efficacit\u00e9 de notre extension. En effet, pour rechercher un vecteur, deux modes s’offrent \u00e0 nous :<\/p>\n
    \n
  1. \n
    La distance cosinus<\/h4>\n<\/li>\n<\/ol>\n
    La distance cosinus mesure non pas combien deux vecteurs sont \u00e9loign\u00e9s, mais l’angle entre eux. C\u2019est un peu comme comparer la direction dans laquelle pointent deux vecteurs plut\u00f4t que la distance r\u00e9elle entre eux.<\/p>\n
    Imaginons que nous sommes en train de lancer deux fl\u00e8ches. La distance cosinus nous dira si les deux fl\u00e8ches pointent dans la m\u00eame direction (sont similaires) ou si elles pointent dans des directions tr\u00e8s diff\u00e9rentes (sont moins similaires).<\/p>\n
    Dans le cadre de l\u2019IA, cette mesure est souvent utilis\u00e9e pour comparer des embeddings (repr\u00e9sentations num\u00e9riques complexes), car elle se concentre sur la relation entre les \u00e9l\u00e9ments, ind\u00e9pendamment de leur taille exacte.<\/p>\n
    Exemple simple :<\/p>\n
    Prenons les deux films :<\/p>\n