CÀI ĐẶT HADOOP TRÊN UBUNTU 18.

04

1. Cài đặt JAVA JDK

Với hadoop sẽ chạy trên nền JAVA JDK nên chúng ta phải cài đặt JDK trước bằng câu lệnh
bên dưới

1. sudo apt update

2. sudo apt install openjdk-8-jdk -y
3. java -version; javac -version

Tạo biến môi trường JAVA

1. export JAVA_HOME=$(readlink -f /usr/bin/javac | sed "s:/bin/javac::")

2. OpenSSH
Tạo các cặp khóa công khai và khóa riêng tư bằng lệnh sau. Nhấn ENTER và tiếp tục. Sau
đó, sao chép các khóa công khai biểu mẫu id_rsa.pub sang các khóa được ủy quyền.

1. sudo apt install openssh-server openssh-client -y

2. sudo adduser hdoop
3. su - hdoop

1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

Kết quả thi thực thi thành công sẽ như hình bên dưới

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2. chmod 0600 ~/.ssh/authorized_keys
3. ssh localhost

3. Hadoop
Tải mã nguồn Hadoop về máy tính qua câu lệnh WGET

1. wget http://mirrors.whoishostingthis.com/apache/hadoop/common/hadoop-
3.2.1/hadoop-3.2.1.tar.gz

1. sudo tar -xvf hadoop-3.2.1.tar.gz -C /opt/

2. rm hadoop-3.2.1.tar.gz && cd /opt

1. echo "export HADOOP_HOME=/opt/hadoop" >> ~/.bashrc

2. echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >>
~/.bashrc

Cài đặt biến mô trườn Hadoop

1. source ~/.bashrc

Kiểm tra phiên bản Hadoop đã cài đặt (Nếu cài đặt thành công)

1. hadoop version

4. Cấu hình HDFS

Di chuyển vào thư mục cài đặt Hadoop
 1. cd /opt/hadoop/etc/hadoop/

Mở tệp tin core-site.xml

1. nano core-site.xml

Thay đổi nội dung core-site.xml như bên dưới

1. <configuration>
2. <property>
3. <name>fs.defaultFS</name>
4. <value>hdfs://localhost:9000</value>
5. </property>
6. </configuration>
Mở tệp tin hdfs-site.xml

1. nano hdfs-site.xml

Thay đổi nội dung hdfs-site.xml như bên dưới

1. <configuration>
2. <property>
3. <name>dfs.datanode.data.dir</name>
4. <value>file:///opt/hadoop_tmp/hdfs/datanode</value>
5. </property>
6. <property>
7. <name>dfs.namenode.name.dir</name>
8. <value>file:///opt/hadoop_tmp/hdfs/namenode</value>
9. </property>
10. <property>
11. <name>dfs.replication</name>
12. <value>1</value>
13. </property>
14. </configuration>

Tạo thư mục lưu trữ cho HDFS

1. sudo mkdir -p /opt/hadoop_tmp/hdfs/datanode

2. sudo mkdir -p /opt/hadoop_tmp/hdfs/namenode
3. sudo chown andrew:andrew -R /opt/hadoop_tmp

Mở tệp tin mapred-site.xml

1. nano yarn-site.xml

Thay đổi nội dung mapred-site.xml như bên dưới

1. <configuration>
2. <property>
3. <name>mapreduce.framework.name</name>
4. <value>yarn</value>
5. </property>
6. </configuration>

Mở tệp tin yarn-site.xml

1. nano yarn-site.xml
Thay đổi nội dung yarn-site.xml như bên dưới

1. <configuration>
2. <property>
3. <name>yarn.nodemanager.aux-services</name>
4. <value>mapreduce_shuffle</value>
5. </property>
6. <property>
7. <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
8. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
9. </property>
10. </configuration>

5. Định dạng thư mục và khởi động HDFS

1. hdfs namenode -format -force

2. start-dfs.sh && start-yarn.sh

1. jps

6. Kiểm tra kết quả

Truy cập vào đường dẫn http://localhost:8088 để xem kết quả hệ thống Hadoop và
http://localhost:9870 để truy cập hệ thống quả lý file.