CentOS/RHEL 7-ൽ ക്ലൗഡറ മാനേജർ എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യാം - ഭാഗം 3

ഈ ലേഖനത്തിൽ, വ്യാവസായിക രീതികൾ അനുസരിച്ച് ക്ലൗഡറ മാനേജർ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനുള്ള ഘട്ടം ഘട്ടമായുള്ള പ്രക്രിയ ഞങ്ങൾ വിവരിച്ചു. ഭാഗം 2 ൽ, ഞങ്ങൾ ഇതിനകം തന്നെ ക്ലൗഡറ പ്രീ-ആവശ്യകതകൾ പരിശോധിച്ചു, എല്ലാ സെർവറുകളും പൂർണ്ണമായി തയ്യാറാക്കിയിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക.

CentOS/RHEL 7-ൽ ഹഡൂപ്പ് സെർവർ വിന്യസിക്കുന്നതിനുള്ള മികച്ച സമ്പ്രദായങ്ങൾ - ഭാഗം 1
ഹഡൂപ്പ് പ്രീ-ആവശ്യകതകളും സുരക്ഷാ കാഠിന്യവും സജ്ജീകരിക്കുന്നു - ഭാഗം 2

ഇവിടെ നമുക്ക് 5 നോഡ് ക്ലസ്റ്ററുകൾ ഉണ്ടാകാൻ പോകുന്നു, അവിടെ 2 മാസ്റ്ററുകളും 3 തൊഴിലാളികളും. ഇൻസ്റ്റാളേഷൻ നടപടിക്രമം കാണിക്കാൻ ഞാൻ 5 AWS EC2 ഇൻസ്uറ്റൻസുകൾ ഉപയോഗിച്ചു. ഞാൻ ആ 5 സെർവറുകൾക്ക് താഴെ കൊടുത്തിരിക്കുന്ന പേര്.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

മുഴുവൻ സിഡിഎച്ചിനുമുള്ള ഒരു അഡ്മിനിസ്ട്രേറ്റീവ്, മോണിറ്ററിംഗ് ടൂളാണ് ക്ലൗഡറ മാനേജർ. Cloudera Hadoop-നുള്ള മാനേജ്uമെന്റ് ടൂൾ എന്നാണ് ഞങ്ങൾ അതിനെ സാധാരണയായി അഡ്മിൻ വിളിക്കുന്നത്. ഈ ടൂൾ ഉപയോഗിച്ച് നമുക്ക് വിന്യസിക്കാനും നിരീക്ഷിക്കാനും നിയന്ത്രിക്കാനും കോൺഫിഗറേഷൻ മാറ്റങ്ങൾ വരുത്താനും കഴിയും. മുഴുവൻ ക്ലസ്റ്ററും കൈകാര്യം ചെയ്യുന്നതിന് ഇത് വളരെ അത്യാവശ്യമാണ്.

Cloudera Manager-ന്റെ പ്രധാന ഉപയോഗങ്ങൾ ചുവടെയുണ്ട്.

ഒരു ഓട്ടോമേറ്റഡ് രീതിയിൽ ഹഡൂപ്പ് ക്ലസ്റ്ററുകൾ വിന്യസിക്കുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യുക.
ക്ലസ്റ്റർ ആരോഗ്യം നിരീക്ഷിക്കുക
അലേർട്ടുകൾ കോൺഫിഗർ ചെയ്യുക
ട്രബിൾഷൂട്ടിംഗ്
റിപ്പോർട്ട് ചെയ്യുന്നു
ക്ലസ്റ്റർ ഉപയോഗ റിപ്പോർട്ട് തയ്യാറാക്കുന്നു
റിസോഴ്uസുകൾ ഡൈനാമിക്കായി കോൺഫിഗർ ചെയ്യുന്നു

ഘട്ടം 1: CentOS-ൽ അപ്പാച്ചെ വെബ് സെർവർ ഇൻസ്റ്റാൾ ചെയ്യുന്നു

ക്ലൗഡറ റിപ്പോസിറ്ററികൾക്കായുള്ള ഒരു വെബ്സെർവറായി ഞങ്ങൾ master1 ഉപയോഗിക്കാൻ പോകുന്നു. കൂടാതെ, Cloudera Manager WebUI ആണ്, അതിനാൽ നമുക്ക് Apache ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്. അപ്പാച്ചെ വെബ് സെർവർ ഇൻസ്റ്റാൾ ചെയ്യാൻ താഴെയുള്ള ഘട്ടങ്ങൾ പാലിക്കുക.

# yum -y install httpd

httpd ഇൻസ്റ്റാൾ ചെയ്തുകഴിഞ്ഞാൽ, അത് ആരംഭിച്ച് പ്രവർത്തനക്ഷമമാക്കുക, അങ്ങനെ അത് ബൂട്ടിൽ ആരംഭിക്കും.

# systemctl start httpd
# systemctl enable httpd

httpd ആരംഭിച്ച ശേഷം, സ്റ്റാറ്റസ് ഉറപ്പാക്കുക.

# systemctl status httpd

httpd ആരംഭിച്ചതിന് ശേഷം, നിങ്ങളുടെ പ്രാദേശിക സിസ്റ്റത്തിൽ ഒരു ബ്രൗസർ തുറന്ന് തിരയൽ ബാറിൽ master1 എന്നതിന്റെ IP വിലാസം ഒട്ടിക്കുക, httpd നന്നായി പ്രവർത്തിക്കുന്നുവെന്ന് ഉറപ്പാക്കാൻ നിങ്ങൾക്ക് ഈ ടെസ്റ്റ് പേജ് ലഭിക്കും.

ഘട്ടം 2: IP, ഹോസ്റ്റ് നാമം എന്നിവ പരിഹരിക്കുന്നതിന് പ്രാദേശിക DNS കോൺഫിഗർ ചെയ്യുക

IP, ഹോസ്റ്റ്നാമം എന്നിവ പരിഹരിക്കുന്നതിന് ഞങ്ങൾക്ക് ഒരു DNS സെർവർ ഉണ്ടായിരിക്കണം അല്ലെങ്കിൽ /etc/hosts കോൺഫിഗർ ചെയ്യേണ്ടതുണ്ട്. ഇവിടെ ഞങ്ങൾ /etc/hosts കോൺഫിഗർ ചെയ്യുകയാണ്, എന്നാൽ തത്സമയം, പ്രൊഡക്ഷൻ എൻവയോൺമെന്റിനായി ഒരു സമർപ്പിത DNS സെർവർ ഉണ്ടാകും.

/etc/hosts-ൽ നിങ്ങളുടെ എല്ലാ സെർവറുകൾക്കും ഒരു എൻട്രി ഉണ്ടാക്കാൻ താഴെയുള്ള ഘട്ടങ്ങൾ പാലിക്കുക.

# vi /etc/hosts

ഇത് എല്ലാ സെർവറുകളിലും ക്രമീകരിച്ചിരിക്കണം.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

ഘട്ടം 3: SSH പാസ്uവേഡ് ഇല്ലാത്ത ലോഗിൻ കോൺഫിഗർ ചെയ്യുക

ഈ ഡെമോൺuസ്uട്രേഷനിൽ master1-ൽ Cloudera Manager ഇൻസ്റ്റാൾ ചെയ്യുന്നു. master1 ൽ നിന്ന് മറ്റെല്ലാ നോഡുകളിലേക്കും പാസ്uവേഡ്-ലെസ്സ് ssh കോൺഫിഗർ ചെയ്യേണ്ടതുണ്ട്. കാരണം, പാക്കേജുകൾ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനായി മറ്റ് എല്ലാ നോഡുകളുമായും ആശയവിനിമയം നടത്താൻ Cloudera മാനേജർ ssh ഉപയോഗിക്കും.

master1 എന്നതിൽ നിന്ന് ശേഷിക്കുന്ന എല്ലാ സെർവറുകളിലേക്കും പാസ്uവേഡ്-ലെസ്സ് ssh കോൺഫിഗർ ചെയ്യുന്നതിന് ചുവടെയുള്ള ഘട്ടങ്ങൾ പാലിക്കുക. കൂടുതൽ മുന്നോട്ട് പോകാൻ ഞങ്ങൾക്ക് ഒരു ഉപയോക്താവ് 'tecmint' ഉണ്ടാകാൻ പോകുന്നു.

കാണിച്ചിരിക്കുന്നതുപോലെ userradd കമാൻഡ് ഉപയോഗിച്ച് എല്ലാ 4 സെർവറുകളും 'tecmint' എന്ന ഉപയോക്താവിനെ സൃഷ്ടിക്കുക.

# useradd -m tecmint

'tecmint' എന്ന ഉപയോക്താവിന് റൂട്ട് പ്രത്യേകാവകാശം നൽകുന്നതിന്, താഴെയുള്ള വരി /etc/sudoers ഫയലിലേക്ക് ചേർക്കുക. സ്ക്രീൻഷോട്ടിൽ നൽകിയിരിക്കുന്നത് പോലെ നിങ്ങൾക്ക് ഈ വരി റൂട്ടിന് കീഴിൽ ചേർക്കാം.

tecmint   ALL=(ALL)    ALL

ഉപയോക്തൃ ‘tecmint’ ലേക്ക് മാറുകയും താഴെ പറയുന്ന കമാൻഡ് ഉപയോഗിച്ച് master1-ൽ ssh കീ സൃഷ്ടിക്കുകയും ചെയ്യുക.

# sudo su tecmint
$ ssh-keygen

ഇപ്പോൾ കാണിച്ചിരിക്കുന്നതുപോലെ ssh-copy-id കമാൻഡ് ഉപയോഗിച്ച് സൃഷ്ടിച്ച കീ എല്ലാ 4 സെർവറുകളിലേക്കും പകർത്തുക.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email

ഇപ്പോൾ നിങ്ങൾക്ക് master1 എന്നതിൽ നിന്ന് പാസ്uവേഡ് ഇല്ലാതെ ശേഷിക്കുന്ന എല്ലാ സെർവറുകളിലേക്കും ssh ചെയ്യാൻ കഴിയും.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

ഘട്ടം 4: ക്ലൗഡറ മാനേജർ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യുന്നു

RHEL/CentOS-ലെ പാക്കേജ് മാനേജ്മെന്റ് ടൂളുകൾ ഉപയോഗിച്ച് എല്ലാ പാക്കേജുകളും ഇൻസ്റ്റാൾ ചെയ്യാൻ നമുക്ക് വെണ്ടർ (Cloudera) ശേഖരണം ഉപയോഗിക്കാം. തത്സമയം, ഞങ്ങളുടെ സ്വന്തം റിപ്പോസിറ്ററി സൃഷ്uടിക്കുന്നത് ഏറ്റവും മികച്ച സമ്പ്രദായമാണ്, കാരണം ഞങ്ങൾക്ക് പ്രൊഡക്ഷൻ സെർവറുകളിൽ ഇന്റർനെറ്റ് ആക്uസസ് ഇല്ലായിരിക്കാം.

ഇവിടെ നമ്മൾ Cloudera Manager 6.3.1 റിലീസ് ഇൻസ്റ്റാൾ ചെയ്യാൻ പോകുന്നു. ഞങ്ങൾ റിപ്പോ സെർവറായി master1 ഉപയോഗിക്കാൻ പോകുന്നതിനാൽ, ഞങ്ങൾ പാക്കേജുകൾ താഴെ സൂചിപ്പിച്ച പാതയിൽ ഡൗൺലോഡ് ചെയ്യുന്നു.

master1 സെർവറിൽ താഴെ സൂചിപ്പിച്ച ഡയറക്uടറികൾ സൃഷ്uടിക്കുക.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

http വഴി പാക്കേജുകൾ ഡൗൺലോഡ് ചെയ്യാൻ നമുക്ക് wget ടൂൾ ഉപയോഗിക്കാം. അതിനാൽ, ചുവടെയുള്ള കമാൻഡ് ഉപയോഗിച്ച് wget ഇൻസ്റ്റാൾ ചെയ്യുക.

$ sudo yum -y install wget

അടുത്തതായി, ഇനിപ്പറയുന്ന wget കമാൻഡ് ഉപയോഗിച്ച് Cloudera Manager tar ഫയൽ ഡൗൺലോഡ് ചെയ്യുക.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

/var/www/html/cloudera-repos/cm6 എന്നതിലേക്ക് ടാർ ഫയൽ എക്uസ്uട്രാക്uറ്റ് ചെയ്യുക, http ഇൻസ്റ്റാളുചെയ്uത് ഞങ്ങൾ ഇതിനകം തന്നെ master1 വെബ്uസെർവറാക്കി, ബ്രൗസറിൽ ഞങ്ങൾ പരീക്ഷിച്ചു.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

ഇപ്പോൾ, എല്ലാ Cloudera rpm ഫയലുകളും /var/www/html/cloudera-repos/cm6/RPMS/x86_64 ഡയറക്uടറിയിൽ ഉണ്ടോയെന്ന് പരിശോധിക്കുക.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

ഇനിപ്പറയുന്ന ഉള്ളടക്കമുള്ള ക്ലസ്റ്റർ ഹോസ്റ്റുകളിലെ എല്ലാ സെർവറുകളിലും /etc/yum.repos.d/cloudera-manager.repo ഫയലുകൾ സൃഷ്ടിക്കുക, ഇവിടെ master1 (65.0.101.148) എന്നത് വെബ് സെർവറാണ്.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

ഇപ്പോൾ റിപ്പോസിറ്ററി ചേർത്തിരിക്കുന്നു, പ്രവർത്തനക്ഷമമാക്കിയ ശേഖരണങ്ങൾ കാണുന്നതിന് താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ yum repolist

റിപ്പോസിറ്ററിയിൽ ലഭ്യമായ എല്ലാ Cloudera അനുബന്ധ പാക്കേജുകളും കാണുന്നതിന് താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ yum list available | grep cloudera*

cloudera-manager-server, cloudera-manager-agent, cloudera-manager-deemons cloudera-manager-server-db-2 എന്നിവ ഇൻസ്റ്റാൾ ചെയ്യുക.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

ഇൻസ്റ്റാൾ ചെയ്ത എല്ലാ Cloudera പാക്കേജുകളും കാണുന്നതിന് താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ yum list installed | grep cloudera*

ക്ലൗഡറ മാനേജറും മറ്റ് സേവന മെറ്റാഡാറ്റയും സംഭരിക്കുന്നതിനുള്ള അടിസ്ഥാന ഡാറ്റാബേസായ cloudera-scm-server-db ആരംഭിക്കുന്നതിന് ചുവടെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

ഡിഫോൾട്ടായി, Cloudera Manager-ൽ ഉൾച്ചേർത്ത postgre-sql-മായി Cloudera വരുന്നു. ഞങ്ങൾ ഉൾച്ചേർത്ത ഒന്ന്, ഉപയോഗിക്കാനാകുന്ന ഒരു തത്സമയ ബാഹ്യ ഡാറ്റാബേസിൽ ഇൻസ്റ്റാൾ ചെയ്യുകയാണ്. അത് ഒറാക്കിൾ, MySQL അല്ലെങ്കിൽ PostgreSQL ആകാം.

$ sudo systemctl start cloudera-scm-server-db

ഡാറ്റാബേസിന്റെ നില പരിശോധിക്കാൻ താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ sudo systemctl status cloudera-scm-server-db

Cloudera Manager സെർവറിനായി db.properties കോൺഫിഗർ ചെയ്യുക.

$ vi /etc/cloudera-scm-server/db.properties

Cloudera മാനേജർ ഉൾച്ചേർത്ത ഡാറ്റാബേസ് ഉപയോഗിക്കുന്നതിന് താഴെയുള്ള മൂല്യം EMBEDDED എന്ന് കോൺഫിഗർ ചെയ്യുക.

com.cloudera.cmf.db.setupType=EMBEDDED

Cloudera Manager സെർവർ ആരംഭിക്കുന്നതിന് താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ sudo systemctl start cloudera-scm-server

Cloudera Manager സെർവറിന്റെ നില പരിശോധിക്കാൻ താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ sudo systemctl status cloudera-scm-server

Cloudera Manager ഏജന്റിന്റെ സ്റ്റാറ്റസ് ആരംഭിക്കുന്നതിനും പരിശോധിക്കുന്നതിനും താഴെയുള്ള കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

ക്ലൗഡറ മാനേജർ സെർവർ വിജയകരമായി പ്രവർത്തിക്കുകയും മികച്ച രീതിയിൽ പ്രവർത്തിക്കുകയും ചെയ്uതുകഴിഞ്ഞാൽ, ക്ലൗഡറ മാനേജറിന്റെ പോർട്ട് നമ്പറായ IP വിലാസവും പോർട്ട് നമ്പറായ 7180-ഉം ഉപയോഗിച്ച് നിങ്ങൾക്ക് ബ്രൗസറിൽ WebUI (ലോഗിൻ പേജ്) കാണാൻ കഴിയും.

https://65.0.101.148:7180

ഈ ലേഖനത്തിൽ, CentOS 7-ൽ Cloudera Manager ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനുള്ള ഘട്ടം ഘട്ടമായുള്ള പ്രക്രിയ ഞങ്ങൾ കണ്ടു. CDH-ഉം മറ്റ് സേവന ഇൻസ്റ്റാളേഷനുകളും അടുത്ത ലേഖനത്തിൽ കാണാം.