Лабораторная «Лабораторные работы 1,2,3,5»,
Анализ больших данных, статистика

Необходимо выполнить лабораторные работы. Лабораторная работа №1 Тема: Знакомство с jupyter notebook (google collab) 1. Зачитайте датасет "titanic.csv" 2. Изучите содержимое датасета (вывод описательной статистики) 3. Постройте графики распределения возраста пассажиров (используя pandas, matplotlib и plotly) 4. Постройте boxplot по возрасту пассажиров, опишите результат 5. Постройте гистограммы распределения классов билетов пассажиров (используя pandas, matplotlib и plotly) 6. Cоотнесите распределение возраста и классов билетов 7. Постройте таблицу корреляций (корреляционная матрица) Лабораторная работа № 2 Загрузите отчет в виде оформленного jupyter notebook (*ipynb) и pdf Тема: Исследование набора данных. Работа с выбросами. 1. Загрузите датасет "Массив 50м необработанный.xlsx" 2. Оставьте для анализа следующие колонки данных: 'train' - номер поезда 'va' - скорость, км/ч - для грузовых поездов обычно скорость не выше 80 км/ч 'vp' - ограничение скорости - для грузовых поездов обычно скорость не выше 80 км/ч 'dfb' - пройденный путь 'tfb' - время от начала пути 'длина' - длина поезда в усл. вагонах 'ves' - вес поезда, т 'ukl' - приведенный к длине поезда уклон пути 'ftz' - процент используемой силы тяги 'dur' - давление в уравнительном резервуаре, усл. ед. - есть записи только об изменении давления (во время торможения) 'ptc' - давление в тормозном циллиндре локомотива, усл. ед - есть записи только об изменении давления (во время торможения) 'ртм' - давление в тормозной магистрали поезда, усл. ед. - есть записи только об изменении давления (во время торможения) 'Тяга' - режим работы локомотива (0 - тяга откл, 15 - тяга вкл, -15 - рекуперация) Начните с графического анализа данных о движении одного поезда 3. Оцените изменение объема файла 4. Исследуйте каждую из колонок на выбросы, с учетом особенностей данных 5. Предложите и реализуйте алгоритмы обработки выбросов/пропусков данных 6. После обработки используйте полученный файл в следующей практической работе Некоторые пояснения по массиву данных о движении грузовых поездов: В данном массиве представлены данные о движении грузовых поездов. Строчки в которых одинаковый номер поезда - это записи о движении одного поезда. Движение поездов специфично, необходимо это учитывать. Для управления поездом используется контроллер (задаем силу тяги поезда в процентах или включаем рекуперативное торможение - тормозим с помощью переключения двигателей в режим электрического торможения) и кран машиниста (управление пневматическими тормозами поезда). Необходимо учитывать длину поезда, она добавляет инерционность во все процессы (как разгона, так и торможения), например торможение поезда не может начаться мгновенно, необходимо время на распространение тормозной воздушной волны по томрозной магистрали (если конечно не тормозим с помощью рекуперации). Сами данные в локомотивных системах записываются спорадически, то есть по мере изменения каких-либо величин, поэтому могут присутствовать пропуски в данных, если изменения не происходили, необходимо это учитывать. Лабораторная работа № 3 Тема: Вычисление ускорения поездов Задание: на основании обработанного массива данных провести вычисление ускорения поездов. Вопросы которые должны быть освещены в отчете: - способ вычисления ускорения - выбор шага усреднения скорости, для вычисления ускорения - описательная статистика для результатов вычисления ускорений - выводы по вычислению ускорений - определение перечня факторов влияющих на ускорение поезда (из представленного массива данных) Лабораторная работа № 5 Тема: Регрессия для прогнозирования ускорения поезда Задача: на обработанном массиве данных, с вычисленным ускорением, выявить завсимости ускорения поездов от различных фактовров. Используя библиотеки машинного обучения разработайте регрессионную модель, оцените качество результатов. ВСЕ работы желательно сделать в Google colab для оформления работ.