顯示具有 HDP 標籤的文章。 顯示所有文章
顯示具有 HDP 標籤的文章。 顯示所有文章

2015年10月1日 星期四

筆記Hortonworks叢集架設(四) - 叢集加上Hue (Hadoop Web UI 管理工具)



1. Hue需安裝在可Client HDFS的電腦上。

2. 安裝編譯相關程式
yum -y install ant \
asciidoc \
cyrus-sasl-devel \
cyrus-sasl-gssapi \
gcc \
gcc-c++ \
krb5-devel \
libtidy \
libxml2-devel \
libxslt-devel \
maven \
mysql \
mysql-devel \
openldap-devel \
python-devel \
sqlite-devel \
openssl-devel \

2. 下載Hue 3.8.1 (root)
wget https://dl.dropboxusercontent.com/u/730827/hue/releases/3.8.1/hue-3.8.1.tgz

3. 解壓縮Hue (root)
tar zxvf hue-3.8.1.tgz

4. Install Hue (root)
a. 移至資料夾
cd hue-3.8.1
b. Install
make install

5. 新增 Hue使用者與Hue群組 (root)
a. 新增群組
groupadd hue
b. 新增使用者
useradd -g hue hue

6. 修改權限 (root)
chown -R hue:hue /usr/local/hue

7. 修改 Configuration (從Cluster的Ambari修改)
a. HDFS
i. 修改General, 確認為打勾
ii, Custom core-site新增以下兩個參數與值
Key : hadoop.proxyuser.hue.groups , Value : *
Key : hadoop.proxyuser.hue.hosts , Value : *

8. 修改 Hue Configuration (root)
a. 修改 /usr/local/hue/desktop/conf/hue.ini
i. server設定
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
ii. 其他Service的localhost參數改成對應的hostname

9. 啟動Hue (root)
a. 移至Hue資料
cd /usr/local/hue/build/env/bin
b. 啟動
./supervisor -d
c. -d 為背景啟動 



2015年9月30日 星期三

筆記Hortonworks叢集架設(三) - Ambari架設HDP Hadoop叢集



1. 進入Ambari介面 , 帳號密碼 admin/admin
http://<your.ambari.server>:8080


2. 設定Cluster名稱


3. 選擇HDP版本


4. 設定Cluster電腦與SSH連線設定
a. 注意, Ambari的root的ssh無密碼連線需可連到Cluster其他台電腦的root權限, 如hadoop01的hadoop帳號可連線到hadoop02的root帳號。

b. 注意, 安裝Ambari的電腦也需寫入, 如hadoop00。但不可給他任何service,只可給client,方便加入Kerberos。


5. Cluster設定完成畫面


6. 選擇安裝哪些Service

a. 建議, 以最小服務安裝, 待HDP安裝完成後在加上其他Service, 否則安裝問題較多。

7. 選擇各項節點要在哪些電腦

a. 因Cluster只有一台主機, 故所有節點都在此主機上, NameNode與SNameNode會有衝突, 產生SNameNode無法正常啟動。 

b. 安裝Ambari電腦不可有任何服務。


8. 選擇個電腦在HDP的設定角色
a. 安裝Ambari電腦可給Client。

9. 調整各Service參數

10. 檢視畫面

11. 安裝畫面

12. 安裝完成確認


13. 完成畫面