Introduction

Un problème de gestion de la mémoire dans Postgres peut avoir des conséquences catastrophiques, notamment lorsqu'il s'agit d'une grande quantité de données. Dans cet article, nous allons explorer un cas où la configuration de work_mem a conduit à une situation critique.

Contexte Technique

La fonction pg_log_backend_memory_contexts peut être utilisée pour afficher les informations de mémoire d'un processus Postgres. Cette fonction a été introduite dans la version 14 de Postgres. En utilisant cette fonction, nous pouvons voir comment la mémoire est allouée et gérée par Postgres.

Le paramètre work_mem définit la quantité de mémoire qui peut être utilisée pour chaque opération de hachage ou de tri. Cependant, il est important de noter que cette limite ne s'applique pas à toutes les allocations de mémoire. Les contextes de mémoire, tels que ExecutorState et HashTableContext, sont créés pour gérer les allocations de mémoire pour les opérations de requête.

Analyse et Implications

Dans le cas étudié, la configuration de work_mem était de 2 Mo, mais la requête a consommé plus de 2 To de mémoire RAM. Cela a conduit à une situation où le tueur de processus (OOM killer) a dû intervenir pour éviter une panne du système. L'analyse a montré que le problème venait de la façon dont les allocations de mémoire étaient gérées dans les contextes de mémoire.

Les chunks de mémoire alloués pour les opérations de hachage et de tri n'étaient pas libérés jusqu'à la fin de l'opération, ce qui a conduit à une accumulation de mémoire. Cette accumulation a été accentuée par le fait que les développeurs avaient utilisé une fonction PL/pgSQL de manière à ce qu'elle soit traitée comme une table dans une jointure, ce qui a créé une grande opération qui a consommé beaucoup de mémoire.

Perspective

Pour éviter ce type de problème, il est important de comprendre comment fonctionne la gestion de la mémoire dans Postgres et de prendre des mesures pour prévenir les accumulations de mémoire. Cela peut inclure l'optimisation des requêtes, la configuration des paramètres de mémoire et la surveillance de l'utilisation de la mémoire. Il est également important de noter que la gestion de la mémoire dans Postgres est complexe et qu'il n'y a pas de solution miracle pour éviter les problèmes de mémoire.