Технологии обработки больших данных ПЕРЕПОДГОТОВКА

Технологии обработки больших данных

О программе

Автор: Созыкин А.В., Комоцкий Е.И., Кошелев А.А., Аксенов А.С.
График реализации: завершена
Трудоемкость: 7 з.е.

Целью программы является освоение нового вида профессиональной деятельности в области технологий обработки больших объемов данных для преподавателей, научно-исследовательского персонала учреждений и аспирантов образовательных учреждений

Содержание модуля

Модуль "Анализ больших данных". Большие данные и методы их обработки. Жизненный цикл приложений обработки больших объемов данных. Распределенные системы хранения больших данных. Инструменты распределенной обработки больших объемов данных.

Модуль "ОС Linux и работа в командной строке". Основы работы в командной строке Linux. Редактирование файлов в Linux. Сетевое взаимодействие в ОС Linux. Работа с кластером обработки больших данных в Linux

Модуль 3 "Анализ больших данных с помощью Apache Spark". Алгоритмы обработки больших данных с помощью Apache Spark. Разработка программ Spark на Python с помощью PySpark. Использование DataFrame API в Apache Spark

Модуль 4 "Анализ больших данных с помощью SQL". Основы SQL. Представление больших данных в виде таблиц. Анализ больших данных с помощью SQL. Импорт/экспорт табличных данных в базы данных.

Модуль 5 "Особенности преподавания технологий обработки больших объемов данных". Методика преподавания технологий обработки больших объемов данных. Проведение практических и лабораторных занятий по технологии обработки больших объемов данных. Особенности планирования и реализации студенческих проектов по большим данным.

Зарегистрироваться

Ссылки на учебно-методические материалы

Что вы получите после прохождения программы