This course was created with the
course builder. Create your online course today.
Start now
Create your course
with
Automatyczne odtwarzanie
Autouzupełnienie
Poprzedni wykład
Kontynuuj
Big Data, Hadoop oraz MapReduce w języku Python (7.5h)
Wprowadzenie do Big Data
Wprowadzenie do Big Data (3:49)
Wymagania
Big Data - początki i historia (4:14)
The 5 V's of Big Data (4:06)
Big Data - przykłady zastosowań (11:22)
Ekosystem Big Data
Ekosystem Big Data (5:58)
Apache Hadoop (0:59)
Ekosystem Apache Hadoop (4:59)
Klaster obliczeniowy - on-premise vs. cloud (2:07)
HDFS - Hadoop Distributed File System
HDFS - Hadoop Distributed File System (1:46)
Jak składowany jest plik w systemie plików HDFS? (6:40)
MapReduce
Algorytm MapReduce - Map + Reduce (6:43)
Algorytm MapReduce - Map + Combine + Reduce (5:14)
Algorytm MapReduce - spojrzenie wysokopoziomowe (5:01)
Przygotowanie środowiska
Narzędzia wykorzystywane podczas kursu (1:56)
PyCharm Community Edition
Utworzenie repozytorium kursu na GitHub + synchronizacja z PyCharm (4:41)
MapReduce w języku Python - mrjob
Pierwszy MapReduce Job w języku Python (12:26)
Pierwszy MapReduce Job w języku Python - kilka uwag (3:14)
MapReduce: SMS Spam Collection (5:37)
MapReduce: SMS Spam Collection - podstawowe statystyki (4:37)
MapReduce: Kontrola kroków (map, reduce) (4:15)
MapReduce w języku Python - Iliada
MapReduce: Iliada - word count cz. 1 (8:53)
MapReduce: Iliada - word count + regex cz. 2 (4:07)
MapReduce: Iliada - najczęściej występujące słowo (11:45)
MapReduce: Map + Combine + Reduce
MapReduce: Map + Combine + Reduce (9:27)
MapReduce: Map + Combine + Reduce cz. 2 (4:44)
MapReduce w języku Python - Airplane dataset
MapReduce: airplane dataset + MapReduce Job (12:34)
MapReduce: Wstępne przetworzenie danych - preprocessing (9:23)
MapReduce: Średnia odległość lotu (17:35)
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc (12:13)
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc cz. 2 (9:29)
JupyterNotbook: Eksploracja wyników (Plotly) (17:32)
Zadanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (1:18)
Rozwiązanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (6:46)
Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze + pełne nazwy (11:38)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:42)
Zadanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (1:07)
Rozwiązanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (9:31)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:11)
Zadanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (3:16)
Rozwiązanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (9:27)
MapReduce w języku Python - Taxi dataset
Średnia całkowita kwota rachunku w rozbiciu na dostawców (8:22)
Zadanie: Znaleźć rozkład liczby pasażerów na przejazd (1:08)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:54)
MapReduce: Najbardziej popularna lokalizacja odbioru (14:13)
Eksploracja wyników - Google Maps (3:39)
Hadoop w chmurze AWS - usługa EMR (Elastic MapReduce)
Uwaga!
Założenie konta na AWS + przegląd usług (11:27)
Uwaga!
Instalacja i konfiguracja narzędzia do pracy z AWS - AWS CLI (8:58)
Hadoop - Uruchomienie job'a na pojedynczej instancji (15:00)
Hadoop - Uruchomienie job'a na klastrze (1 master, 4 nodes) (12:48)
MapReduce w języku Python - Taxi dataset c.d.
Zadanie: Ruch taksówek w rozbiciu na godziny (1:02)
Rozwiązanie: Ruch taksówek w rozbiciu na godziny (8:57)
JupyterNotbook: Ekspolracja wyników (Plotly) (5:28)
Zadanie: Średnia długość trasy kursu taksówki (0:38)
Rozwiązanie: Średnia długość trasy kursu taksówki (4:25)
MapReduce w języku Python - Food reviews dataset
Dataset - recenzje dotyczące zakupów w sklepie internetowym Amazon (2:34)
Wstępne przetworzenie danych (6:18)
Rozgrzewka - rozkład ocen (5:18)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 1 (6:43)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 2 (17:59)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 3 (11:33)
Uruchomienie MapReduce lokalnie (6:50)
Uruchomienie MapReduce w chmurze - Amazon EMR (35:13)
BONUS
Grupa na Facebook'u (0:51)
Rekomendowane ścieżki uczenia
Bonus
MapReduce: Map + Combine + Reduce cz. 2
Treść wykładu zablokowana
Jeśli jesteś już zarejestrowany,
musisz się zalogować
.
Zapisz się na kurs, aby odblokować