HPPY: Высокопроизводительная обработка данных на Python

1. Диагностика производительности: где у Python «болит»-

• Интерпретация vs компиляция: что Python делает «под капотом»

• Бутылочные горлышки: CPU / память / I/O / сеть

• Накладные расходы структур Python (list/dict/object) и почему это важно

• Интеграция с Си (и другими языками программирования)2. Данные решают: представления и форматы, которые ускоряют-

• Pandas: сильные стороны, типичные причины деградации, оптимизационные приёмы

• Apache Arrow: колоночное представление, zero-copy, межъязыковая совместимость

• Polars: быстрый DataFrame-подход, ленивые вычисления, векторизация, параллельность «из коробки»

• Практика: одну и ту же задачу делаем несколькими способами и сравниваем

• 3. «А если SQL?» — когда это быстрее и проще, чем писать Python-циклы-

• От SQLite к DuckDB: аналитика локально, в файлах, без сервера

• SQL vs DataFrame API: что выбирать и почему

• Практика: перенос части вычислений в SQL-движок и оценка выигрыша

• Spark как платформа: DataFrame + SQL, когда он оправдан

•

• 4. Параллелизм в Python без мифов-

• Процессы и потоки: как это работает

• GIL: почему потоки не ускоряют python и что с этим делать

• Параллелизм «за чужой счёт»: • Dask / Ray / Spark — когда и какой эффект они дают

• SQL-движки — параллельные вычисления внутри (DuckDB/Spark/Trino)

• Практика: распараллеливаем задачу и фиксируем эффект

• 5. Горизонтальное масштабирование: от одной машины к кластеру-

• Архитектурные сценарии: batch/stream, ETL/ELT, ad-hoc аналитика, сервисные расчёты

• Варианты кластера и диспетчеризация: Spark, Trino, Ray, Celery, (обзор MPI/SLURM)

• Распределённый SQL (Trino): где он стреляет, а где нет

• Итоговая карта решений: что выбрать под ваш кейс, риски, стоимость владения, пределы

• Более подробно с программой курса можно ознакомиться по ссылке:bigdataschool.ru/courses/high-performance-proces…