Awọn Iṣe Ti o dara julọ fun Ṣiṣe olupin Server Hadoop lori CentOS/RHEL 7 - Apá 1

Ninu jara ti awọn nkan, a yoo bo gbogbo ile Ikojọpọ iṣupọ Cloudera Hadoop pẹlu Olutaja ati Awọn iṣe ti o dara julọ ti a ṣe iṣeduro.

Fifi sori ẹrọ OS ati ṣiṣe ipele OS awọn ohun-iṣaaju ni awọn igbesẹ akọkọ lati kọ Iṣupọ Hadoop kan. Hadoop le ṣiṣẹ lori oriṣiriṣi adun ti pẹpẹ Linux: CentOS, RedHat, Ubuntu, Debian, SUSE ati bẹbẹ lọ, Ni iṣelọpọ akoko gidi, pupọ julọ awọn iṣupọ Hadoop ni a kọ lori oke RHEL/CentOS, a yoo lo CentOS 7 fun ifihan ni yi jara ti Tutorial.

Ninu Ẹgbẹ kan, fifi sori OS le ṣee ṣe nipa lilo kickstart. Ti o ba jẹ iṣupọ ipade 3 si 4, fifi sori ẹrọ ni ọwọ ṣee ṣe ṣugbọn ti a ba kọ iṣupọ nla kan pẹlu diẹ sii ju awọn apa 10, o nira lati ṣafikun OS ni ọkọọkan. Ni oju iṣẹlẹ yii, ọna Kickstart wa sinu aworan, a le tẹsiwaju pẹlu fifi sori ibi-pupọ nipa lilo kickstart.

Aṣeyọri iṣẹ ṣiṣe ti o dara lati Ayika Hadoop da lori pipese Hardware ati Sọfitiwia to tọ. Nitorinaa, kikọ iṣupọ Hadoop iṣelọpọ kan pẹlu ero pupọ nipa Hardware ati Sọfitiwia.

Ninu àpilẹkọ yii, a yoo lọ nipasẹ ọpọlọpọ Awọn aami ifami nipa fifi sori OS ati diẹ ninu awọn iṣe ti o dara julọ fun ṣiṣiṣẹ Cloudera Hadoop Cluster Server lori CentOS/RHEL 7.

Ifiyesi Pataki ati Awọn Iṣe Ti o dara julọ fun Ṣiṣe Server Server Hadoop

Awọn atẹle ni awọn adaṣe ti o dara julọ fun siseto imuṣiṣẹ Server Cloud Hadoop Cluster Server lori CentOS/RHEL 7.

  • Awọn olupin Hadoop ko nilo awọn olupin bošewa ti ile-iṣẹ lati kọ iṣupọ kan, o nilo ohun elo ọja.
  • Ninu iṣupọ iṣelọpọ, nini awọn disiki data si 8 si 12 ni a ṣe iṣeduro. Gẹgẹbi iru iṣẹ ṣiṣe, a nilo lati pinnu lori eyi. Ti iṣupọ naa ba jẹ fun awọn ohun elo to lagbara, nini awọn iwakọ 4 si 6 jẹ adaṣe ti o dara julọ lati yago fun awọn ọran I/O.
  • Awọn awakọ data yẹ ki o pin ni ọkọọkan, fun apẹẹrẹ - bẹrẹ lati/data01 si/data10.
  • A ko ṣe iṣeduro iṣeto RAID fun awọn apa oṣiṣẹ, nitori Hadoop funrararẹ n pese ifarada-ifarada lori data nipa sisọ awọn bulọọki naa di 3 nipasẹ aiyipada. Nitorinaa JBOD dara julọ fun awọn apa oṣiṣẹ.
  • Fun Awọn olupin Titunto, RAID 1 jẹ adaṣe ti o dara julọ.
  • Eto faili aiyipada lori CentOS/RHEL 7.x ni XFS. Hadoop ṣe atilẹyin XFS, ext3, ati ext4. Eto-faili ti a ṣe iṣeduro jẹ ext3 bi o ti danwo fun iṣẹ to dara.
  • Gbogbo awọn olupin yẹ ki o ni ẹya OS kanna, o kere ju itusilẹ kekere kanna.
  • O jẹ adaṣe ti o dara julọ lati ni ohun elo isokan (gbogbo awọn apa oṣiṣẹ yẹ ki o ni awọn abuda ohun elo kanna (Ramu, aaye disiki & Ibẹẹrẹ ati bẹbẹ lọ).
  • Ni ibamu si ṣiṣe iṣupọ iṣupọ (Iṣiṣẹ Iwontunws.funfun, Iṣiro Iṣiro, I/O Aladanla) ati iwọn, orisun (Ramu, Sipiyu) fun igbimọ kan yoo yatọ.

Wa Apeere isalẹ fun Ipin Disk ti awọn olupin ti ibi ipamọ 24TB.

Fifi CentOS 7 sori ẹrọ fun imuṣiṣẹ Server Hadoop

Awọn ohun ti o nilo lati mọ ṣaaju fifi sori ẹrọ olupin CentOS 7 fun Hadoop Server.

  • Fifi sori ẹrọ Pọọku to fun Awọn olupin Hadoop (awọn apa iṣẹ), ni awọn ọrọ miiran, a le fi GUI sori ẹrọ nikan fun awọn olupin Titunto tabi awọn olupin Iṣakoso nibiti a le lo awọn aṣawakiri fun UI wẹẹbu ti awọn irinṣẹ Iṣakoso.
  • Awọn n ṣatunto awọn nẹtiwọọki, orukọ olupin, ati awọn eto miiran ti o jọmọ OS le ṣee ṣe lẹhin fifi sori ẹrọ OS.
  • Ni akoko gidi, awọn olutaja olupin yoo ni itọnisọna ti ara wọn lati ṣe ibaraenisọrọ ati ṣakoso awọn olupin, fun apẹẹrẹ - awọn olupin Dell n ni iDRAC eyiti o jẹ ẹrọ kan, ti a fi sii pẹlu awọn olupin. Lilo wiwo iDRAC yẹn a le fi OS sori ẹrọ pẹlu nini aworan OS ninu eto agbegbe wa.

Ninu nkan yii, a ti fi OS (CentOS 7) sori ẹrọ ni ẹrọ foju VMware. Nibi, a kii yoo ni awọn disiki pupọ lati ṣe awọn ipin. CentOS jẹ iru si RHEL (iṣẹ kanna), nitorinaa a yoo rii awọn igbesẹ lati fi sori ẹrọ CentOS.

1. Bẹrẹ nipasẹ gbigba lati ayelujara aworan CentOS 7.x ISO ni eto awọn window agbegbe rẹ ki o yan lakoko fifa ẹrọ foju. Yan 'Fi sori ẹrọ CentOS 7' bi o ṣe han.

2. Yan Ede, aiyipada yoo jẹ Gẹẹsi, ki o tẹ tẹsiwaju.

3. Aṣayan Sọfitiwia - Yan ‘Fifi sori Pọọku‘ ki o tẹ ‘Ti ṣee’.

4. Ṣeto ọrọigbaniwọle gbongbo bi yoo ṣe tọ wa lati ṣeto.

5. Ibi lilọ sori - Eyi ni igbesẹ pataki lati ṣọra. A nilo lati yan disiki nibiti o ti fi sori ẹrọ OS, o yẹ ki o yan disk ifiṣootọ fun OS. Tẹ 'Ibi fifi sori ẹrọ' ki o yan Disiki naa, ni akoko gidi awọn disiki pupọ yoo wa nibẹ, a nilo lati yan, o dara julọ 'sda'.

6. Awọn aṣayan Ifipamọ miiran - Yan aṣayan keji (Emi yoo tunto ipin) lati tunto ipin OS ti o jọmọ bi/var,/var/log,/ile,/tmp,/opt,/swap.

7. Lọgan ti o ṣe, bẹrẹ fifi sori ẹrọ.

8. Lọgan ti Fifi sori pari, tun atunbere olupin naa ṣiṣẹ.

9. Buwolu wọle sinu olupin ati ṣeto orukọ olupin.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Ninu nkan yii, a ti kọja nipasẹ awọn igbesẹ fifi sori OS ati awọn iṣe ti o dara julọ fun ipin eto faili. Iwọnyi jẹ gbogbo itọnisọna gbogbogbo, ni ibamu si iru iṣẹ ṣiṣe, a le nilo lati ṣojumọ lori awọn nuances diẹ sii lati ṣaṣeyọri iṣẹ ti o dara julọ ti iṣupọ naa. Eto iṣupọ jẹ aworan fun alabojuto Hadoop. A yoo ni jinle jinle sinu awọn ibeere ṣaaju ipele OS ati aabo Hardening ni nkan atẹle.