Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision | ||
|
laboratoare:laborator10 [2014/12/18 12:58] Andrei Roșu-Cojocaru |
laboratoare:laborator10 [2015/01/12 13:02] (current) Andrei Roșu-Cojocaru |
||
|---|---|---|---|
| Line 3: | Line 3: | ||
| ===== Obiective ==== | ===== Obiective ==== | ||
| + | |||
| + | * înțelegerea modelului implementat de Hadoop pentru procesarea distribuită a unui volum mare de date, folosind clustere formate din mașini fără performanțe distribuite, larg disponibile în comerț (//eng.// commodity hardware); | ||
| + | * descrierea principalelor module integrate de framework-ul Hadoop; | ||
| + | * cunoașterea produselor care funcționează împreună cu modulele Hadoop, funcționalitatea pe care o pun la dispoziție și oportunitatea folosirii lor; | ||
| + | * configurarea framework-ului Hadoop (HDFS, YARN) și a bazei de date distribuite HBase pe un cluster format dintr-o singură mașină; | ||
| + | * utilizarea paradigmei de programare Map/Reduce pentru procesarea distribuită a unui volum mare de date; | ||
| + | * familiarizarea cu modul în care sunt gestionate sarcinile Map/Reduce în diferite implementări ale framework-ului Hadoop (Map/Reduce "clasic", respectiv YARN); | ||
| ===== Cuvinte Cheie ==== | ===== Cuvinte Cheie ==== | ||
| + | |||
| + | Hadoop, cluster, commodity hardware, Google File System, Hadoop Distributed File System, YARN, Map-Reduce, HBase, ZooKeeper, Oozie, Pig, Hive, HDFS federation, namenode, datanode, Job Tracker, Task Tracker, Resource Manager, Node Manager, Application Master | ||
| ===== Materiale Ajutătoare ====== | ===== Materiale Ajutătoare ====== | ||
| Line 538: | Line 547: | ||
| * schelet de cod | * schelet de cod | ||
| - | * varianta Hadoop 2.5.1 / HBase 0.98.6.1 {{ :laboratoare:laborator10:aipi2014-lab10-hadoop251hbase09861.tar.gz }} | + | * {{ :laboratoare:laborator10:aipi2014-lab10-hadoop251hbase09861.tar.gz }} (varianta Hadoop 2.5.1 / HBase 0.98.6.1) |
| - | * varianta Hadoop 2.6.0 / HBase 0.98.8 {{ :laboratoare:laborator10:aipi2014-lab10-hadoop260hbase0988.tar.gz }} | + | * {{ :laboratoare:laborator10:aipi2014-lab10-hadoop260hbase0988.tar.gz }} (varianta Hadoop 2.6.0 / HBase 0.98.8) |
| - | * {{ :laboratoare:laborator10:aipi2014-lab10-hbasescripts.tar.gz }} | + | |
| + | * script-uri HBase: {{ :laboratoare:laborator10:aipi2014-lab10-hbasescripts.tar.gz }} | ||
| **1.** [**0 puncte**] Să se deschidă maşina virtuală [[http://aipi2014.andreirosucojocaru.ro/Ubuntu1404.zip|Ubuntu 14.04]] / [[http://aipi2014.andreirosucojocaru.ro/Ubuntu1410.zip|Ubuntu 14.10]], autentificarea făcându-se cu utilizatorul aipi2014 şi parola StudentAipi2014. | **1.** [**0 puncte**] Să se deschidă maşina virtuală [[http://aipi2014.andreirosucojocaru.ro/Ubuntu1404.zip|Ubuntu 14.04]] / [[http://aipi2014.andreirosucojocaru.ro/Ubuntu1410.zip|Ubuntu 14.10]], autentificarea făcându-se cu utilizatorul aipi2014 şi parola StudentAipi2014. | ||
| Line 564: | Line 574: | ||
| <code bash> | <code bash> | ||
| aipi2014@ubuntu:~$ /usr/local/java/jdk1.8.0_25/bin/jps | aipi2014@ubuntu:~$ /usr/local/java/jdk1.8.0_25/bin/jps | ||
| - | </code></note> | + | </code> |
| + | </note> | ||
| **4.** [**10 puncte**] Să se ruleze script-urile HBase pentru crearea şi popularea bazei de date. Vor trebui rulate scripturile ''Laborator10_DDLc.rb'' şi ''Laborator10_DML.rb''. | **4.** [**10 puncte**] Să se ruleze script-urile HBase pentru crearea şi popularea bazei de date. Vor trebui rulate scripturile ''Laborator10_DDLc.rb'' şi ''Laborator10_DML.rb''. | ||
| Line 573: | Line 584: | ||
| aipi2014@ubuntu:~/HBaseScripts$ hbase shell Laborator10_DDLc.rb | aipi2014@ubuntu:~/HBaseScripts$ hbase shell Laborator10_DDLc.rb | ||
| aipi2014@ubuntu:~/HBaseScripts$ hbase shell Laborator10_DML.rb | aipi2014@ubuntu:~/HBaseScripts$ hbase shell Laborator10_DML.rb | ||
| - | </code></note> | + | </code> |
| <note tip>De asemenea, există un script ''Laborator10_DDLd.rb'' pentru ştergerea tabelelor din cadrul bazei de date, în cazul în care acestea se doresc a fi dezinstalate.</note> | <note tip>De asemenea, există un script ''Laborator10_DDLd.rb'' pentru ştergerea tabelelor din cadrul bazei de date, în cazul în care acestea se doresc a fi dezinstalate.</note> | ||
| Line 708: | Line 719: | ||
| ===== Soluții ===== | ===== Soluții ===== | ||
| - | disponibile pe 12 ianuarie 2015 | + | [[https://github.com/aipi2014/Laborator10/tree/master/HBaseScripts|Script-uri HBase]]\\ |
| + | [[https://github.com/aipi2014/Laborator10/tree/master/hadoop251hbase09861/BookStoreMapReduce|Proiect Hadoop 2.5.1 & HBase 0.98.6.1]]\\ | ||
| + | [[https://github.com/aipi2014/Laborator10/tree/master/hadoop260hbase0988/BookStoreMapReduce|Proiect Hadoop 2.6.0. & HBase 0.98.8]] | ||
