OTUS. Промышленный Machine Learning на больших данных. Часть 1

Курс рассчитан на Data Engineer-ов или специалистов в машинном обучении.

Вы научитесь:

• использовать стандартные инструменты ML-конвейеров в распределенной среде;
• разрабатывать собственные блоки для ML-конвейеров;
• адаптировать ML-алгоритмы к распределенной среде и инструментам big data;
• использовать Spark, SparkML, Spar Streaming;
• организовывать промышленные конвейеры сбора данных;
• разрабатывать алгоритмы потоковой подготовки данных для машинного обучения;
• обеспечивать контроль качества на всех этапах движения ML-решений в промышленную эксплуатацию.

Необходимые знания
Базовые навыки программирования:

• управляющие конструкции, циклы, рекурсия;
• основные структуры данных: массивы, списки, словари, деревья;
• базовые принципы ООП;
• знакомство с одним из языков: Python, Java, Scala, C++.
• Математика:
• линейная алгебра: вектора, матрицы и их произведения;
• матан: производная простых и композитных функций;
• вычметоды: градиентный спуск, Ньютоновские итерации;
• теория вероятности: случайные события и величины, математическое ожидание, дисперсия.

Технологии:

• понимание основ работы вычислительной техники в рамках архитектуры фон Неймана (процессор, память, кэш, подключаемое хранилище);
• понимание общих принципов реляционных СУБД, знание SQL.

Будет плюсом: знакомство с классическими алгоритмами машинного обучения.