Как управлять памятью при работе с большими объёмами данных?

Управление памятью для больших данных в Python — это комбинация понимания модели объектов и осознанного выбора структур/алгоритмов.

Потоковая обработка и ленивость вместо загрузки всего в память

• чтение файлов/стримов построчно или чанками (итерация по файлу, iter с буфером, read(n));

• использование генераторов вместо списков там, где результат не нужно хранить целиком ((f(x) for x in data) вместо [f(x) for x in data]);

• pipeline‑подход: каждая стадия получает итератор и отдаёт итератор, не материализуя промежуточные коллекции.

Выбор подходящих структур данных

• вместо списка чисел — array, numpy.ndarray или pandas‑колонки, хранящие данные компактно в виде плотных буферов;

• избегать вложенных Python‑объектов (списки словарей словарей), если можно перейти на табличное или колонночное представление;

• использовать сжатые форматы хранения (Parquet, Feather) и подгружать только нужные колонки/строки.

Memory‑mapped файлы и частичный доступ

Для очень больших файлов можно использовать memory‑mapping (mmap, поддержка в numpy.memmap): операционная система отображает файл в адресное пространство процесса, а вы обращаетесь к его частям как к массиву, не загружая всё содержимое в память сразу. Это особенно полезно для больших бинарных матриц/векторов.

Избегание лишних копий

• следить за местами, где создаются временные списки/словаря/строки, которые можно заменить на итераторы или in‑place операции;

• в numpy использовать вьюшки вместо копий, где возможно (view, срезы без копирования);

• быть осторожным с конкатенацией строк в цикле — лучше использовать join или буферы.

Управление жизненным циклом объектов

• явно разрывать ссылки на большие структуры, когда они больше не нужны (присвоить None, убрать из контейнеров), чтобы GC мог их освободить;

• делить обработку на этапы, между которыми крупные объекты выживают как можно меньше;

• при необходимости использовать gc.collect() после крупного этапа, если известно, что освободилось много объектов и пауза предсказуема.

Инструменты контроля и диагностики

На senior‑уровне важно не только проектировать код, но и проверять гипотезы: использовать tracemalloc, memory_profiler, objgraph, чтобы находить утечки и лишние копии, понимать, какие объекты занимают больше всего памяти и как меняется их количество во времени.

Формулировка для собеседования

При работе с большими данными я стараюсь: обрабатывать их потоково и лениво, а не загружать всё в память; выбирать плотные структуры (numpy/pandas/array), избегать лишних копий и временных коллекций; при необходимости использовать memory‑mapped файлы; и контролировать реальное потребление памяти через профилировщики, корректируя архитектуру, если вижу «горячие точки».