Wprowadzenie do Big Data
Ekosystem Big Data
HDFS - Hadoop Distributed File System
MapReduce
Przygotowanie środowiska
MapReduce w języku Python - mrjob
MapReduce w języku Python - Iliada
MapReduce: Map + Combine + Reduce
MapReduce w języku Python - Airplane dataset
-
MapReduce: airplane dataset + MapReduce Job (12:34)
-
MapReduce: Wstępne przetworzenie danych - preprocessing (9:23)
-
MapReduce: Średnia odległość lotu (17:35)
-
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc (12:13)
-
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc cz. 2 (9:29)
-
JupyterNotbook: Eksploracja wyników (Plotly) (17:32)
-
Zadanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (1:18)
-
Rozwiązanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (6:46)
-
Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze + pełne nazwy (11:38)
-
JupyterNotbook: Ekspolracja wyników (Plotly) (4:42)
-
Zadanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (1:07)
-
Rozwiązanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (9:31)
-
JupyterNotbook: Ekspolracja wyników (Plotly) (4:11)
-
Zadanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (3:16)
-
Rozwiązanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (9:27)
MapReduce w języku Python - Taxi dataset
Hadoop w chmurze AWS - usługa EMR (Elastic MapReduce)
MapReduce w języku Python - Taxi dataset c.d.
MapReduce w języku Python - Food reviews dataset
-
Dataset - recenzje dotyczące zakupów w sklepie internetowym Amazon (2:34)
-
Wstępne przetworzenie danych (6:18)
-
Rozgrzewka - rozkład ocen (5:18)
-
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 1 (6:43)
-
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 2 (17:59)
-
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 3 (11:33)
-
Uruchomienie MapReduce lokalnie (6:50)
-
Uruchomienie MapReduce w chmurze - Amazon EMR (35:13)
