Ṣiṣeto Awọn ibeere ṣaaju Hadoop ati Ikunkun Aabo - Apá 2

Ile Iṣupọ Hadoop jẹ igbesẹ nipasẹ ilana igbesẹ nibiti ilana naa bẹrẹ lati rira awọn olupin ti o nilo, gbigbe si agbeko, kebulu, ati bẹbẹ lọ ati gbigbe si Datacentre. Lẹhinna a nilo lati fi sori ẹrọ OS, o le ṣee ṣe nipa lilo kickstart ni agbegbe akoko gidi ti iwọn iṣupọ ba tobi. Lọgan ti a fi sori ẹrọ OS, lẹhinna a nilo lati ṣeto olupin fun Fifi sori Hadoop ati pe a nilo lati ṣeto awọn olupin ni ibamu si awọn eto aabo Aabo.

Awọn adaṣe ti o dara julọ fun Ṣiṣe olupin Server Hadoop lori CentOS/RHEL 7 - Apá 1

Ninu àpilẹkọ yii, a yoo lọ nipasẹ awọn ibeere ṣaaju ipele OS ti iṣeduro nipasẹ Cloudera. Pẹlupẹlu, a ti ṣe afihan diẹ ninu awọn imọran Pataki Aabo Aabo ni ibamu si CIS Benchmark fun Awọn olupin iṣelọpọ. Ailera aabo wọnyi le jẹ oriṣiriṣi ni ibamu si awọn ibeere.

Ṣiṣeto Awọn ibeere-tẹlẹ Cloudera Hadoop

Nibi, a yoo jiroro lori awọn ibeere ṣaaju ipele OS ti iṣeduro nipasẹ Cloudera.

Nipa aiyipada, Oju-iwe Nipasẹ Nla (THP) ti ṣiṣẹ ni awọn ẹrọ Lainos eyiti o ko ni ibaraenisepo pẹlu awọn iṣẹ iṣẹ Hadoop ati pe o dinku iṣẹ-ṣiṣe apapọ ti iṣupọ. Nitorinaa a nilo lati mu eyi ṣiṣẹ lati le ṣaṣeyọri iṣẹ ti o dara julọ nipa lilo pipaṣẹ iwoyi atẹle.

# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo never > /sys/kernel/mm/transparent_hugepage/defrag

Nipa aiyipada, iye vm.swappiness jẹ 30 tabi 60 fun pupọ julọ awọn ero Linux.

# sysctl vm.swappiness

Nini iye ti o ga julọ ti swappiness ko ni iṣeduro fun awọn olupin Hadoop nitori pe o le fa awọn idaduro idoti Gbigba gigun. Ati pe, pẹlu iye swappiness ti o ga julọ, a le fi data pamọ si iranti swap paapaa ti a ba ni iranti to. Kekere iye swappiness le ṣe iranti ti ara lati ni awọn oju-iwe iranti diẹ sii.

# sysctl vm.swappiness=1

Tabi, o le ṣii faili /etc/sysctl.conf ki o ṣafikun \"vm.swappiness = 1 \" ni ipari.

vm.swappiness=1

Olupin Hadoop kọọkan yoo ni ojuse tirẹ pẹlu awọn iṣẹ lọpọlọpọ (daemons) ti n ṣiṣẹ lori iyẹn. Gbogbo awọn olupin yoo ma ba ara wọn sọrọ ni ọna loorekoore fun awọn idi pupọ.

Fun Apere, Datanode yoo ranṣẹ si Namenode fun gbogbo iṣẹju-aaya 3 ki Namenode rii daju pe Datanode wa laaye.

Ti gbogbo ibaraẹnisọrọ ba ṣẹlẹ laarin awọn daemons kọja awọn olupin oriṣiriṣi nipasẹ Firewall, yoo jẹ ẹrù afikun si Hadoop. Nitorinaa o dara julọ iṣe lati mu ogiriina kuro ni awọn olupin kọọkan ni Iṣupọ.

# iptables-save > ~/firewall.rules
# systemctl stop firewalld
# systemctl disable firewall

Ti a ba tọju SELinux ṣiṣẹ, yoo fa awọn oran lakoko fifi sori ẹrọ Hadoop. Bii Hadoop jẹ iširo iṣupọ, Cloudera Manager yoo de ọdọ gbogbo awọn olupin ninu iṣupọ lati fi Hadoop ati awọn iṣẹ rẹ sii ati pe yoo ṣẹda awọn ilana iṣẹ pataki ni ibikibi ti o nilo.

Ti SELinux ba ṣiṣẹ, kii yoo jẹ ki Oluṣakoso Cloudera ṣe akoso fifi sori ẹrọ bi o ṣe fẹ. Nitorinaa, sise SELinux yoo jẹ idiwọ si Hadoop ati pe yoo fa awọn ọran iṣe.

O le ṣayẹwo ipo ti SELinux nipa lilo pipaṣẹ isalẹ.

# sestatus

Bayi, ṣii/ati be be/selinux/config file ki o mu SELINUX kuro bi o ti han.

SELinux=disabled

Lẹhin ti o mu SELinux kuro, o nilo lati tun atunbere eto naa lati jẹ ki o ṣiṣẹ.

# reboot

Ninu Hadoop Cluster, gbogbo awọn olupin yẹ ki o wa ni Ṣiṣẹpọ Aago lati yago fun awọn aṣiṣe aiṣedeede aago. RHEL/CentOS 7 n ni chronyd inbuilt fun amuṣiṣẹpọ aago/akoko, ṣugbọn Cloudera ṣe iṣeduro lati lo NTP.

A nilo lati fi sori ẹrọ NTP ati tunto rẹ. Lọgan ti o fi sii, da 'chronyd' duro ki o mu. Nitori, ti olupin kan ba ni ntpd mejeeji ati chronyd ti n ṣiṣẹ, Cloudera Manager yoo ṣe akiyesi chronyd fun amuṣiṣẹpọ akoko, lẹhinna yoo jabọ aṣiṣe paapaa ti a ba ni amuṣiṣẹpọ akoko nipasẹ ntp.

# yum -y install ntp
# systemctl start ntpd
# systemctl enable ntpd
# systemctl status ntpd

Gẹgẹbi a ti sọ loke, a ko nilo chronyd lọwọ bi a ṣe nlo ntpd. Ṣayẹwo ipo ti chronyd, ti o ba n ṣiṣẹ iduro ati mu. Nipa aiyipada, a ti da chronyd ayafi ti titi a o fi bẹrẹ lẹhin fifi sori ẹrọ OS, o kan a nilo lati mu fun ẹgbẹ ailewu.

# systemctl status chronyd
# systemctl disable chronyd

A ni lati ṣeto orukọ olupin pẹlu FQDN (Orukọ Aṣẹ Pipe Ni kikun). Olupin kọọkan yẹ ki o ni orukọ alailẹgbẹ Canonical kan. Lati yanju orukọ ogun, boya a nilo lati tunto DNS tabi/ati be be lo/awọn ogun. Nibi, a yoo tunto/ati be be lo/awọn ogun.

Adirẹsi IP ati FQDN ti olupin kọọkan yẹ ki o wa ni/ati be be/awọn ogun ti gbogbo awọn olupin naa. Lẹhinna Oluṣakoso Cloudera nikan le ṣe ibaraẹnisọrọ gbogbo awọn olupin pẹlu orukọ olupin rẹ.

# hostnamectl set-hostname master1.linux-console.net

Nigbamii, tunto/ati be be lo/faili awọn faili. Fun Apere: - Ti a ba ni iṣupọ ipade 5 pẹlu awọn oluwa 2 ati awọn oṣiṣẹ 3, a le tunto/ati be be lo/awọn ogun bi isalẹ.

Bi Hadoop ṣe jẹ Java, gbogbo awọn ọmọ-ogun yẹ ki o ni fifi Java sori ẹrọ pẹlu ẹya ti o yẹ. Nibi a yoo ni OpenJDK. Nipa aiyipada, Cloudera Manager yoo fi sori ẹrọ OracleJDK ṣugbọn, Cloudera ṣe iṣeduro nini OpenJDK.

# yum -y install java-1.8.0-openjdk-devel
# java -version

Hadoop Aabo ati Ikunkun

Ni apakan yii, a yoo lọ si aabo ayika Harden Hadoop…

Ṣiṣakoṣo awọn 'adaṣe-adaṣe' ngbanilaaye iṣagbesori aifọwọyi ti awọn ẹrọ ti ara bi USB, CD/DVD. Olumulo pẹlu iraye si ti ara le so USB wọn pọ tabi eyikeyi alabọde Ipamọ lati wọle si data ti a fi sii. Lo awọn ofin isalẹ lati ṣayẹwo boya o jẹ alaabo tabi rara, ti ko ba mu o.

# systemctl disable autofs
# systemctl is-enabled autofs

Faili iṣeto ni grub ni alaye pataki ti awọn eto bata ati awọn iwe eri lati ṣii awọn aṣayan bata. Faili atunto grub 'grub.cfg' ti o wa ni/boot/grub2 ati pe o ti sopọ bi /etc/grub2.conf ati rii daju pe grub.cfg jẹ ohun-ini nipasẹ olumulo gbongbo.

# cd /boot/grub2

Lo pipaṣẹ ti o wa ni isalẹ lati ṣayẹwo Uid ati Gid jẹ mejeeji 0/gbongbo ati 'ẹgbẹ' tabi 'miiran' ko yẹ ki o ni igbanilaaye eyikeyi.

# stat /boot/grub2/grub.cfg

Lo pipaṣẹ ti o wa ni isalẹ lati yọ awọn igbanilaaye lati miiran ati ẹgbẹ.

# chmod og-rwx /boot/grub2/grub.cfg

Eto yii yago fun atunkọ aṣẹ-aṣẹ miiran ti olupin. ie, O nilo ọrọ igbaniwọle lati tun atunbere olupin naa ṣiṣẹ. Ti ko ba ṣeto, awọn olumulo laigba aṣẹ le bata olupin naa o le ṣe awọn ayipada si awọn ipin bata.

Lo pipaṣẹ isalẹ lati ṣeto ọrọ igbaniwọle.

# grub2-mkpasswd-pbkdf2

Ṣafikun ọrọ igbaniwọle ti o ṣẹda loke si faili /etc/grub.d/01_users.

Nigbamii, tun ṣe ina faili atunto grub.

# grub2-mkconfig > /boot/grub2/grub.cfg

Prelink jẹ eto sọfitiwia kan ti o le mu alekun sii ni olupin kan ti awọn olumulo irira ba le fi ẹnuko ikawe ti o wọpọ bii libc.

Lo pipaṣẹ ti o wa ni isalẹ lati yọ kuro.

# yum remove prelink

O yẹ ki a ronu didiṣẹ diẹ ninu awọn iṣẹ/ilana lati yago fun awọn ikọlu ti o le.

# systemctl disable <service name>

Muu Awọn iṣẹ Nẹtiwọọki - Rii daju pe awọn iṣẹ nẹtiwọọki - awọn idiyele, ọsan, danu, iwoyi, akoko ko ṣiṣẹ. Awọn iṣẹ nẹtiwọọki wọnyi jẹ fun n ṣatunṣe aṣiṣe ati idanwo, o ni iṣeduro lati mu ṣiṣẹ eyiti o le dinku ikọlu latọna jijin.
Mu TFTP & FTP ṣiṣẹ - Ilana mejeeji ko ni ṣe atilẹyin igboya ti data tabi awọn iwe eri. O jẹ iṣe ti o dara julọ lati maṣe ninu olupin ayafi ti o ba nilo gbangba. Ni ọpọlọpọ awọn ilana yii ni a fi sii ati muu ṣiṣẹ lori Awọn faili faili.
Muu DHCP ṣiṣẹ - DHCP jẹ ilana ti yoo pin ipin adirẹsi IP ni agbara. O ni iṣeduro lati mu ayafi ti o jẹ olupin DHCP lati yago fun awọn ikọlu ti o le.
Muu HTTP - HTTP jẹ ilana ti o le lo lati gbalejo akoonu wẹẹbu. Yato si awọn olupin Titunto/Iṣakoso (ibiti WebUI ti awọn iṣẹ ni lati tunto bi CM, Hue, ati be be lo), a le mu HTTP ṣiṣẹ lori awọn apa oṣiṣẹ miiran eyiti o le yago fun awọn ikọlu ti o le.

Akopọ

A ti kọja nipasẹ igbaradi olupin eyiti o ni awọn ibeere-tẹlẹ Cloudera Hadoop ati diẹ lile lile. Awọn ibeere ṣaaju ipele OS ti a ṣalaye nipasẹ Cloudera jẹ dandan fun fifi sori ẹrọ dan ti Hadoop. Nigbagbogbo, iwe afọwọkọ lile yoo ṣetan pẹlu lilo ti CIS Benchmark ati pe o lo lati ṣayẹwo ati ṣe atunṣe aiṣedeede ni akoko gidi.

Ninu fifi sori ẹrọ ti o kere ju ti CentOS/RHEL 7, awọn iṣẹ ṣiṣe/sọfitiwia ipilẹ nikan ni a fi sii, eyi yoo yago fun eewu ti ko fẹ ati awọn ailagbara. Botilẹjẹpe o jẹ Fifi sori Pọọku ọpọlọpọ awọn aṣetunṣe ti iṣatunwo aabo yoo ṣee ṣe ṣaaju fifi Hadoop sori ẹrọ, paapaa lẹhin kikọ iṣupọ naa, ṣaaju gbigbe iṣupọ naa si Iṣẹ/Gbóògì.