筆記Hortonworks叢集架設(三) - Ambari架設HDP Hadoop叢集

1. 進入Ambari介面 , 帳號密碼 admin/admin

http://<your.ambari.server>:8080

2. 設定Cluster名稱

3. 選擇HDP版本

4. 設定Cluster電腦與SSH連線設定

a. 注意, Ambari的root的ssh無密碼連線需可連到Cluster其他台電腦的root權限, 如hadoop01的hadoop帳號可連線到hadoop02的root帳號。

b. 注意, 安裝Ambari的電腦也需寫入, 如hadoop00。但不可給他任何service，只可給client，方便加入Kerberos。

5. Cluster設定完成畫面

6. 選擇安裝哪些Service

a. 建議, 以最小服務安裝, 待HDP安裝完成後在加上其他Service, 否則安裝問題較多。

7. 選擇各項節點要在哪些電腦

a. 因Cluster只有一台主機, 故所有節點都在此主機上, NameNode與SNameNode會有衝突, 產生SNameNode無法正常啟動。 

b. 安裝Ambari電腦不可有任何服務。

8. 選擇個電腦在HDP的設定角色

a. 安裝Ambari電腦可給Client。

9. 調整各Service參數

10. 檢視畫面

11. 安裝畫面

12. 安裝完成確認

13. 完成畫面

筆記Hortonworks叢集架設(一) - CentOS 7 設定

1. 網路設定 (root)

   a. 修改 /etc/sysconfig/network-scripts/ifcfg-你的網路卡編號

2. 升級套件 (root)

yum update -yyum install http://ftp.jaist.ac.jp/pub/Linux/Fedora/epel/7/x86_64/e/epel-release-7-5.noarch.rpm 

3. 關閉SELinux (root)

  a. 修改 /etc/sysconfig/selinux

SELINUX=disabled

4. 關閉Firewalld.service (root)

systemctl disable firewalld.service

systemctl stop firewalld.service

5. 更新SSL (root)

yum upgrade openssl 

6. 安裝NTPD (root)

yum install ntp ntpdate ntp-doc

service ntpd start

chkconfig ntpd on

7. 修改電腦名稱 (root)

   a. 修改 /etc/hostname

   b. 修改 /etc/hosts

8. SSH無密碼 (root)

   a. 以Ambari裝叢集需Ambari電腦root可無密碼其他台root權限之帳號

   b. 建立RSA

ssh-keygen

   c. 建立authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

   d. 建立authorized_keys

chmod 600 authorized_keys

   e. 複製至其他台電腦, 因Ambari後續設定HDP故連線方式為root帳號連線目標root帳號

scp ~/.ssh/authorized_keys root@hadoop02.hadoop:~/.ssh/ 

筆記Hortonworks叢集架設(二) - CentOS 安裝 Hortonworks Ambari

1. 下載 Ambari Repository (root) 

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

2. 安裝Ambari (root) 

yum install ambari-server

3. 設定Ambari (root) 

ambari-server setup

4. 啟動Ambari (root) 

ambari-server start

5. 進入Ambari介面安裝HDP 2.3

http://<your.ambari.server>:8080