Jak składowany jest plik w systemie plików HDFS? | e-smartdata

Automatyczne odtwarzanie
Autouzupełnienie

Poprzedni wykład Kontynuuj

Big Data, Hadoop oraz MapReduce w języku Python (7.5h)

Wprowadzenie do Big Data

Wprowadzenie do Big Data (3:49)
Wymagania
Big Data - początki i historia (4:14)
The 5 V's of Big Data (4:06)
Big Data - przykłady zastosowań (11:22)

Ekosystem Big Data

Ekosystem Big Data (5:58)
Apache Hadoop (0:59)
Ekosystem Apache Hadoop (4:59)
Klaster obliczeniowy - on-premise vs. cloud (2:07)

HDFS - Hadoop Distributed File System

HDFS - Hadoop Distributed File System (1:46)
Jak składowany jest plik w systemie plików HDFS? (6:40)

MapReduce

Algorytm MapReduce - Map + Reduce (6:43)
Algorytm MapReduce - Map + Combine + Reduce (5:14)
Algorytm MapReduce - spojrzenie wysokopoziomowe (5:01)

Przygotowanie środowiska

Narzędzia wykorzystywane podczas kursu (1:56)
PyCharm Community Edition
Utworzenie repozytorium kursu na GitHub + synchronizacja z PyCharm (4:41)

MapReduce w języku Python - mrjob

Pierwszy MapReduce Job w języku Python (12:26)
Pierwszy MapReduce Job w języku Python - kilka uwag (3:14)
MapReduce: SMS Spam Collection (5:37)
MapReduce: SMS Spam Collection - podstawowe statystyki (4:37)
MapReduce: Kontrola kroków (map, reduce) (4:15)

MapReduce w języku Python - Iliada

MapReduce: Iliada - word count cz. 1 (8:53)
MapReduce: Iliada - word count + regex cz. 2 (4:07)
MapReduce: Iliada - najczęściej występujące słowo (11:45)

MapReduce: Map + Combine + Reduce

MapReduce: Map + Combine + Reduce (9:27)
MapReduce: Map + Combine + Reduce cz. 2 (4:44)

MapReduce w języku Python - Airplane dataset

MapReduce: airplane dataset + MapReduce Job (12:34)
MapReduce: Wstępne przetworzenie danych - preprocessing (9:23)
MapReduce: Średnia odległość lotu (17:35)
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc (12:13)
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc cz. 2 (9:29)
JupyterNotbook: Eksploracja wyników (Plotly) (17:32)
Zadanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (1:18)
Rozwiązanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (6:46)
Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze + pełne nazwy (11:38)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:42)
Zadanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (1:07)
Rozwiązanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (9:31)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:11)
Zadanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (3:16)
Rozwiązanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (9:27)

MapReduce w języku Python - Taxi dataset

Średnia całkowita kwota rachunku w rozbiciu na dostawców (8:22)
Zadanie: Znaleźć rozkład liczby pasażerów na przejazd (1:08)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:54)
MapReduce: Najbardziej popularna lokalizacja odbioru (14:13)
Eksploracja wyników - Google Maps (3:39)

Hadoop w chmurze AWS - usługa EMR (Elastic MapReduce)

Uwaga!
Założenie konta na AWS + przegląd usług (11:27)
Uwaga!
Instalacja i konfiguracja narzędzia do pracy z AWS - AWS CLI (8:58)
Hadoop - Uruchomienie job'a na pojedynczej instancji (15:00)
Hadoop - Uruchomienie job'a na klastrze (1 master, 4 nodes) (12:48)

MapReduce w języku Python - Taxi dataset c.d.

Zadanie: Ruch taksówek w rozbiciu na godziny (1:02)
Rozwiązanie: Ruch taksówek w rozbiciu na godziny (8:57)
JupyterNotbook: Ekspolracja wyników (Plotly) (5:28)
Zadanie: Średnia długość trasy kursu taksówki (0:38)
Rozwiązanie: Średnia długość trasy kursu taksówki (4:25)

MapReduce w języku Python - Food reviews dataset

Dataset - recenzje dotyczące zakupów w sklepie internetowym Amazon (2:34)
Wstępne przetworzenie danych (6:18)
Rozgrzewka - rozkład ocen (5:18)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 1 (6:43)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 2 (17:59)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 3 (11:33)
Uruchomienie MapReduce lokalnie (6:50)
Uruchomienie MapReduce w chmurze - Amazon EMR (35:13)

BONUS

Grupa na Facebook'u (0:51)
Rekomendowane ścieżki uczenia
Bonus

Teach online with

Jak składowany jest plik w systemie plików HDFS?