Hadoop 2.4.0 – Utilisation sur une grappe a un noeud

Créé le: 2014/04/26 ; Révisé le: 2015/05/24
Thumbnail

Pour essayer ce tutoriel, vous devez déjà avoir effectué les étapes dans cette vidéo précédente.

  • Configurer le système de fichiers (00:24)
    • vim etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
  • vim etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
  • Préparer SSH sans mot de passe (02:00)
    • ssh-keygen -t dsa -P  » -f ~/.ssh/id_dsa
    • cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    • ssh localhost
  • Préparer HDFS (03:46)
    • bin/hdfs namenode -format
    • sbin/start-dfs.sh
  • Créer quelques répertoires sur HDFS (05:36)
    • bin/hdfs dfs -mkdir /user
    • bin/hdfs dfs -mkdir /user/hadoop
    • bin/hdfs dfs -ls /
  • Tester (05:56)
    • bin/hdfs dfs -put etc/hadoop input
    • bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output ‘dfs[a-z.]+’
    • bin/hdfs dfs -get output output
    • cat output/*
  • Arrêter HDFS (09:20)
    • sbin/stop-dfs.sh

Commentaires, questions et suggestions:

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *