Hadoop - 호튼웍스(hortonworks) HDP 설치 3
Hadoop - 호튼웍스(hortonworks) HDP 설치 3
이번 포스팅으로 호튼웍스(Hortonworks)의 HDP(Hortonworks Data Platform) 설치 마무리를 해보겠다.
흐름이 많이 끊겼지만 이어서 해보도록 하겠다.
server inform
192.168.6.150 master
192.168.6.151 node01
192.168.6.152 node02
192.168.6.153 node03
ambari master server IP주소인 192.168.6.150 의 8080 port로 접속하면 위와 같은 화면을 볼 수 있다.
192.168.6.150:8080
ambari의 기본 username과 password는 동일하고 admin이다.
접속 후 기본상태를 확인할 수 있고 새로운 HDP cluster를 구축하기 위해서 Launch Install Wizard를 선택해주자.
cluster의 이름은 본인이 하고 싶은 걸로 직접 정해주면 된다^^
cluster 이름을 정하고 나면 위와 같이 HDP version을 선택해주면 되고 아래와 같이 OS별로 public repo가 있다.
따로 삭제하거나 선택할 필요 없다 아래 skip 체크박스에 체크 후 next로 넘어가도록 하자.
target hosts에 HDP를 설치할 node를 작성해 주면 된다.
수동으로 node01, node02 해도 되지만 실제로 구축 시에는 보통 10 node 이상이 되기 때문에
hostname의 규칙으로 간편하게 작성하면 된다.
ex) node[01-99]
아래는 ssh-keygen으로 생성된 .ssh 폴더의 id_rsa값을 넣어주면 된다.
[root@master ~]# cat .ssh/id_rsa
-----BEGIN RSA PRIVATE KEY-----
MIIEpQIBAAKCAQEA78PJS31TARSb22919l62BTHt2X45l9SVXULN9aoYizPwI2Jw
Ev7ZDMaCD2yMfkzQ8L6MY4ckoAxDLsZrnhrQgdjiLy4r6FsunFY+ZhAxBUepPkrG
uhjortRGcH/2O4s6vV8GDw9bcKMWJ1ukUtTHNDQB0/hVHAkQtyyuRji2YQPJZfeZ
ub89oVTm6LcAj59EprDDGMxsCmZ1Lns1juGi7/Xe3l4OA2s/PsrvbumoewZNanv2
ds+xyWz8EiNTihDGoxJq7ZXFUmtyN7mmY89e77QvPKeGGSJYv1sf5zdI5sOnsgeG
KOWMTlFJF2Ugefp53TPjIfqTLasx8CJDiE9rHwIDAQABAoIBAQCfG0ufPsEwPF7Z
FXQwU9VySRnPdIX/jWC5DLXkSkYTShoXQSGiWV/rrGdumNf6kDsvJyO+gFX7p2eF
yMJtntmy8RvXt0oH3UpnEIxD6oa9PDrBTZnmsNTn/5Hm4eOiy9flBwPcRpKlgnQX
FidLmEvBBqoX4fmIqzNeetYDX2sXoMTM1fF1aYogld3ZLMEe6/O20niWg3OdA/JB
o86bUReVYfw8QRsXJcPwNHtFXE++YF6qdah9NfYNSiInNsCO1XWZhbAuCEhXgcBC
oj9ks7HgUR6eXKWXV3jf3gzbVVjaUVeC8QarwSam/yv07viWgcTjyD+W3M79B+PM
gFmqS6GRAoGBAPxFKWcbDLyeEtzDp3vwonOUd+NrOIw90drU+2Er97kGJQtDS0Fh
WROCHIOqiowS6HXibab/irpMSW00C3Pffum5mRI24zX2iCGYIkSungaE/4n7MxkP
bHi8DhFnP7qTc/aDKk8kbNHqTTPtn97MZBT6Ag7Ph4Rj3feyNWPF4mjTAoGBAPNP
Sr2dFx4Ap/1dePEiD1HfgPZSuf5t5O7khjKA45wmrAbpCXShN+JzjtBj61SeLTwR
BNzvTWyJ40UdWuXQa1b3gutqm2aRPeh9k6BATkeR4TZAt6kpa5BQlYmirA5GQQw4
erbIhoL8ptARXy1ffwpVZWXl8uNP7JvlKEdbQ8UFAoGBAPRcIiDHqOzDyc2ikAeU
Lif69q6J27qs3yw0BlQ3/Lty4ksooirwmxI0hF5dwdqxLg+Sh1iuS7jt0GpBcZ6K
LStFJqroE+rfpTm1XexdoKD8D3Oeqf5qXE4PCyl8c9TMpBVzNHZ4+BfV93aHhMaS
AZf4HCowiDqLaiVWsDS3J/sVAoGATtBXiJZTP6+8uvDFVW7QAZhhoOjpQMZ+SvgR
lFh14kYQoWhpXLNAdAU0tMI5H77hLjzhE2Qc81SzHtdEc38Q1in06act0YqowB+1
a0qJUNurVTSfiZdWNXg1CFF+ZF1Tgs7kyUKpd9K5glquNvdhIorI/rn+9K0WGuWf
J4YjrLUCgYEAgg9CPWgDtgE2RUe1XvKzcXekTXdCxc5f1HYY+BXtkwh4GufveBSb
WoSQqNFYa5uwfVtY21hCZmTk+XbH3+EOybnXFNba6CJ74Js3Cxj94TRJYYLZNnai
XECJjgFooexFoeu0oihWC6L13j2HqBSL0EZw2CKw3se4bBrutiJs8Lc=
-----END RSA PRIVATE KEY-----
참고로 -----BEGIN부터 KEY----- 여기까지 넣어주어야 한다. ---이 부분을 같이 삽입하지 않으면 인식하지 않는다.
이상이 없다면 위와 같은 confirm hosts에서 warning이나 failed가 뜨지 않고 success가 될 것이다.
다음으로 넘어오면 HDP의 지원하는 service 목록이다 설치할 항목만 선택 후 넘어가면 된다.
현재는 Test 버전으로 진행하는 것이니 선택되어있는 Default 항목으로 선택 후 Next 하였다.
해당 서비스들이 설치될 node를 직접 선택하면 된다.
목적에 맞게 node 수에 맞게 잘 배치하면 된다.
이중화를 위해 zookeeper는 3 node이상으로 선택해주고 나머지는 상황에 따라 형태가 너무 많이 달라진다.
일단 Test목적이니 대충 설정하고 넘어 가자.
slave와 clients 등 설정하는 부분이다.
옆쪽에 다른 부분은 실수로 스샷을 찍진 않았다.
일단 선택할 것들을 확인 후 선택하고 next 해주면 된다.
선택에 따라 서비스들이 이중화가 가능한 것들이 있다.
위와 같이 alerts 뜬 부분은 직접 들어가서 서비스들의 password를 정해 주면 된다.
다 alerts부분을 없앤 후 next를 해주면 위와 같은 warning이 뜰 것이다.
어떻게 해도 뜬다. 그냥 proceed anyway로 넘어가 주면 된다.
위와 같이 설치될 것이다 하는 것이니 대충 참조만 해주고 deploy 해준다.
아무래도 vmware로 아주 작은 memory를 할당하였더니 out of memory가 떴다.
잠시 vmware를 종료 후 memory 할당을 더 해주고 진행했다.
모든 노드가 경고를 띄우고 설치에 성공하였다.
경고의 원인은 여러 가지 일 것이다.
하지만 complete로 넘어간다.
설치 후에는 위와 같이 엄청난 alerts을 뿜어낸다.
보통은 몇 시간 내로 모두 사라진다.
actions 탭에서 start all을 해준 후 시간이 지나면 위와 같이 dashboard가 변하고 있는 것을 볼 수 있다.
vm상태다 보니 memory도 작고 여러모로 환경이 열약해서 뜨는 경고들도 많다.
하지만 시간이 지난 후 웬만한 alerts는 없어질 것이다.
계속해서 뜬다면 cpu 및 memory할당을 의심해보고 직접 맨 상단에 있는 alerts을 눌러본다면 어떠한
문제가 있는지 확인할 수 있을 것이다.
이로써 설치 과정은 마치도록 하겠다.
2020/08/01 - [hadoop] - Hadoop - 호튼웍스(hortonworks) HDP 설치 2
2020/07/31 - [hadoop] - Hadoop - 호튼웍스 (hortonworks) HDP 설치 1
2020/07/30 - [linux] - linux - centos 본딩(bonding)종류 및 설정하기
'hadoop' 카테고리의 다른 글
| Hadoop - 호튼웍스(hortonworks) HDP 설치 2 (0) | 2020.08.01 |
|---|---|
| Hadoop - 호튼웍스 (hortonworks) HDP 설치 1 (0) | 2020.07.31 |
이 글을 공유합시다
