Bii o ṣe le Fi sii CDH ati Tunto Awọn ibi Iṣẹ lori CentOS/RHEL 7 - Apakan 4

Ninu nkan iṣaaju, a ti ṣe alaye fifi sori ẹrọ ti Cloudera Manager, ninu nkan yii, iwọ yoo kọ bi o ṣe le fi sori ẹrọ ati tunto CDH (Cloudera Distribution Hadoop) ni RHEL/CentOS 7.

Lakoko ti o nfi nkan CDH sii, a ni lati rii daju Cloudera Manager ati ibaramu CDH. Ẹya awọsanma ni awọn ẹya 3 - . .. . Cloudera Manager akọkọ ati ẹya ti o kere julọ gbọdọ jẹ kanna bii CDH akọkọ ati ẹya kekere.

Fun Apere, a nlo Cloudera Manager 6.3.1 ati CDH 6.3.2. Nibi 6 jẹ pataki ati 3 jẹ ẹya kekere. Major ati Minor gbọdọ jẹ kanna lati yago fun awọn ọran ibamu.

• Awọn adaṣe ti o dara julọ fun Ṣiṣe olupin Server Hadoop lori CentOS/RHEL 7 - Apá 1
• Ṣiṣeto Awọn ohun ti o nilo ṣaaju Hadoop ati Ikunkun Aabo - Apá 2
Bii a ṣe le Fi sii ati Tunto Oluṣakoso Cloudera lori CentOS/RHEL 7 - Apá 3

A yoo gba awọn apa 2 isalẹ ti o wa fun fifi CDH sii. Tẹlẹ a ti fi sori ẹrọ Cloudera Manager ni master1, tun a nlo master1 bi olupin repo.

master1.linux-console.net
worker1.linux-console.net

Igbesẹ 1: Ṣe igbasilẹ Awọn ohun elo CDH lori Olupin olupin

1. Ni akọkọ, sopọ si olupin master1 ati ṣe igbasilẹ awọn faili CDH Parcels ninu itọsọna/var/www/html/Cloudera-repos/cdh. A ni lati ṣe igbasilẹ ni isalẹ awọn faili 3 ti a mẹnuba eyiti o yẹ ki o ni ibaramu pẹlu RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. Ṣaaju ki o to ṣe igbasilẹ awọn faili wọnyi, rii daju lati ṣẹda itọsọna cdh labẹ/var/www/html/Cloudera-repos/ipo.

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3. Itele, ṣe igbasilẹ awọn faili 3 ti a darukọ loke nipa lilo pipaṣẹ wget atẹle.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Igbesẹ 2: Ṣiṣeto Cloudera Manager Repo Lori Awọn alabara Iṣẹ

4. Bayi, sopọ si awọn olupin osise ati daakọ faili repo (Cloudera-manager.repo) lati olupin repo (master1) si gbogbo olupin oṣiṣẹ ti o ku. Faili repo yii ṣe idaniloju awọn olupin pe gbogbo awọn apo ti o nilo ati awọn RPM yoo gba lati ayelujara lati olupin repo lakoko fifi sori ẹrọ.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Lọgan ti repo ti ṣafikun, ṣe atokọ awọn ibi ipamọ ti o ṣiṣẹ lati rii daju pe awọsanma-faili repo ti ṣiṣẹ.

$ yum repolist

Igbesẹ 3: Fi Daemons Oluṣakoso Cloudera ati Aṣoju lori Awọn olupin Iṣẹ

6. Bayi, a nilo lati fi sori ẹrọ Cloudera-manager-daemons ati Cloudera-manager-agent ni gbogbo awọn olupin to ku.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. Itele, o nilo lati tunto oluranlowo Oluṣakoso Cloudera lati ṣe ijabọ olupin Oluṣakoso Cloudera.

$ sudo vi /etc/cloudera-scm-agent/config.ini

Rọpo localhost pẹlu adirẹsi IP olupin olupin Cloudera Manager.

8. Bẹrẹ Agent Manager Cloudera ati ṣayẹwo ipo naa.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Igbesẹ 4: Fi sori ẹrọ ati Ṣeto CDH

A ni awọn apo-iwe CDH ni olupin1 - olupin repo. Rii daju pe gbogbo awọn olupin n ni faili repo Manager Cloudera ni /etc/yum.repos.d/ ti o ba tẹle fifi sori ẹrọ aifọwọyi nipa lilo Cloudera Manager.

9. Wọle si Oluṣakoso Cloudera nipa lilo URL ti o wa ni isalẹ ni ibudo 7180 ki o lo orukọ olumulo aiyipada ati ọrọ igbaniwọle ti Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Lọgan ti o ba wọle, iwọ yoo ni ikini pẹlu oju-iwe ikini. Nibi o le wa awọn akọsilẹ Tu silẹ, Awọn ẹya tuntun ti Oluṣakoso Cloudera.

11. Gba Iwe-aṣẹ ati Tesiwaju.

12. Yan Ẹya. A ti yan ẹya iwadii nipa aiyipada, a le tẹsiwaju pẹlu iyẹn.

13. Bayi, tẹle awọn igbesẹ Fifi sori ẹrọ iṣupọ. Tẹsiwaju Ikini Kaabo.

14. Lorukọ iṣupọ naa ki o tẹsiwaju, a ti lorukọ bi\"tecmint". Awọn iru iṣupọ meji wa ti o le ṣalaye. A n tẹsiwaju pẹlu iṣupọ deede.

• Iṣupọ Deede: Yoo ni awọn apa ibi ipamọ, awọn apa iṣiro, ati awọn iṣẹ pataki miiran.
• Iṣiro Iṣiro: Yoo ni awọn apa iṣiro nikan. O le lo ipamọ ti ita fun titoju data.

15. A ti tẹlẹ ti fi sori ẹrọ Awọn oluṣakoso faili Cloudera ni gbogbo awọn olupin naa. O le wa awọn olupin wọnyẹn ni\"Awọn ogun ti a Ṣakoso lọwọlọwọ". Fun fifi sori ẹrọ adaṣe, o ni lati tẹ FQDN tabi IP ti awọn olupin sii ni aṣayan\"Awọn alejo Titun" ati wiwa. Oluṣakoso Cloudera yoo ṣe awari awọn ọmọ-ogun laifọwọyi lori eyiti a nilo lati fi sori ẹrọ CDH.

Nibi, tẹ\"Awọn ogun ti a Ṣakoso lọwọlọwọ", yan gbogbo awọn ọmọ-ogun nipa yiyan 'Orukọ alejo' ki o tẹsiwaju.

16. Yan Ibi ipamọ - lilo Nkan ni ọna iṣeduro. Tẹ ‘Awọn aṣayan diẹ sii’ lati tunto ibi ipamọ naa.

17. Tẹ URL ibi ipamọ agbegbe sii bi a ti sọ ni isalẹ. Yọ gbogbo awọn ibi ipamọ gbogbogbo ti o ku silẹ eyiti o tọka si Wẹẹbu (Awọn ibi ipamọ Cloudera).

Eyi ni URL ibi ipamọ agbegbe CDH ti a ni ni master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Lọgan ti URL ibi ipamọ ti tẹ sii, oju-iwe yii yoo fihan awọn apo ti o wa nikan. Tẹsiwaju igbesẹ yii.

19. Nisisiyi awọn iwe-iwe ti wa ni gbigba lati ayelujara, pinpin, kojọpọ, ati muu ṣiṣẹ ni gbogbo awọn olupin to wa.

20. Ni kete ti a ti muu Awọn Apoti CDH ṣiṣẹ, ṣayẹwo Iṣupọ naa. Igbesẹ yii yoo ṣe ayẹwo ilera ti iṣupọ naa. Nibi a ti n fo ati Tesiwaju.

Igbesẹ 5: Iṣeto Iṣupọ

21. Nibi a nilo lati yan Awọn iṣẹ lati fi sori ẹrọ ni Iṣupọ. Diẹ ninu awọn akojọpọ ti a kojọpọ yoo wa ni aiyipada, a n lọ pẹlu Awọn iṣẹ Aṣa.

22. Ninu Awọn iṣẹ Aṣa, a nfi Awọn paati Iwọn nikan (HDFS ati YARN) sori ẹrọ fun idi demo yii.

23. Fi awọn ipa si olupin naa. A le ṣe akanṣe gẹgẹbi awọn ibeere wa. Wa apẹrẹ ti o wa ni isalẹ eyiti o ṣe apejuwe Pinpin Ipa ti a ṣe iṣeduro fun iṣupọ kekere ipilẹ pẹlu awọn apa 5 si 20 pẹlu Wiwa Giga.

24. Yan iru aaye data, orukọ olupin, Orukọ DB, Orukọ olumulo, ati Ọrọigbaniwọle. Bi a ṣe nlo PostgreSQL ifibọ, yoo yan ni aiyipada. Ṣe idanwo asopọ naa, o yẹ ki o ṣaṣeyọri.

25. Oju-iwe yii yoo fihan awọn ipilẹ iṣeto aiyipada ti HDFS ati Yarn, pẹlu awọn ilana data. Ṣe atunyẹwo gbogbo awọn alaye iṣeto ati pe o le ṣe awọn ayipada ti o ba nilo. Lẹhinna Tẹsiwaju pẹlu eyi.

26. Oju-iwe yii yoo fihan awọn alaye ti aṣẹ 'First Run'. O le faagun rẹ lati wo awọn alaye ti awọn pipaṣẹ ṣiṣe. Ti nẹtiwọọki eyikeyi tabi awọn ọran igbanilaaye ninu iṣupọ, igbesẹ yii yoo kuna. Nigbagbogbo, igbesẹ yii pinnu fifi sori ẹrọ dan ti Ile Iṣupọ.

27. Lọgan ti igbesẹ ti o wa loke ti pari, Tẹ ‘Pari’ lati pari fifi sori ẹrọ. Eyi ni Dasibodu ti Oluṣakoso Cloudera lẹhin fifi CDH sii.

http://104.211.95.96:7180/cmf/home

A ti pari Cloudera Manager ati fifi sori CDH ni aṣeyọri. Ninu Dasibodu Oluṣakoso Cloudera, o le wa ṣeto awọn shatti ti a ti ṣalaye tẹlẹ nibi ti o ti le ṣe atẹle Sipiyu iṣupọ, Disk IO ati bẹbẹ lọ A le ṣakoso gbogbo iṣupọ naa ni lilo Cloudera Manager. A yoo wo gbogbo awọn iṣẹ iṣakoso ni awọn nkan ti n bọ.