നെയിംനോഡിനായി ഉയർന്ന ലഭ്യത എങ്ങനെ സജ്ജീകരിക്കാം - ഭാഗം 5

ഹഡൂപ്പിന് രണ്ട് പ്രധാന ഘടകങ്ങൾ ഉണ്ട്, അവ HDFS, YARN എന്നിവയാണ്. HDFS ഡാറ്റ സംഭരിക്കുന്നതിനുള്ളതാണ്, YARN ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ളതാണ്. HDFS എന്നത് ഹഡൂപ്പ് ഡിസ്ട്രിബ്യൂട്ടഡ് ഫയൽ സിസ്റ്റമാണ്, ഇതിന് നെയിംനോഡ് മാസ്റ്റർ സേവനമായും ഡാറ്റാനോഡ് സ്ലേവ് സേവനമായും ഉണ്ട്.

HDFS-ൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റയുടെ മെറ്റാഡാറ്റ സംഭരിക്കുന്ന ഹഡൂപ്പിന്റെ നിർണായക ഘടകമാണ് നെയിംനോഡ്. നെയിംനോഡ് കുറയുകയാണെങ്കിൽ, മുഴുവൻ ക്ലസ്റ്ററും ആക്uസസ് ചെയ്യാൻ കഴിയില്ല, ഇത് പരാജയത്തിന്റെ സിംഗിൾ പോയിന്റാണ് (SPOF). അതിനാൽ, മെഷീൻ ക്രാഷ്, ആസൂത്രിതമായ അറ്റകുറ്റപ്പണി പ്രവർത്തനം തുടങ്ങിയ വിവിധ കാരണങ്ങളാൽ ഒരു നെയിംനോഡ് കുറയുകയാണെങ്കിൽ ഉൽപ്പാദനം തടസ്സപ്പെടാതിരിക്കാൻ ഉൽപ്പാദന അന്തരീക്ഷത്തിൽ നെയിംനോഡ് ഉയർന്ന ലഭ്യത ഉണ്ടായിരിക്കും.

ഹഡൂപ്പ് 2.x നമുക്ക് രണ്ട് നെയിംനോഡുകൾ ഉണ്ടാകാനുള്ള സാധ്യത നൽകുന്നു, ഒന്ന് ആക്റ്റീവ് നെയിംനോഡും മറ്റൊന്ന് സ്റ്റാൻഡ്uബൈ നെയിംനോഡും ആയിരിക്കും.

• സജീവ നാമനോഡ് - ഇത് എല്ലാ ക്ലയന്റ് പ്രവർത്തനങ്ങളും നിയന്ത്രിക്കുന്നു.
• സ്റ്റാൻഡ്ബൈ നെയിംനോഡ് - ഇത് സജീവമായ നെയിംനോഡിന്റെ അനാവശ്യമാണ്. Active NN കുറയുകയാണെങ്കിൽ, Active NN-ന്റെ എല്ലാ ഉത്തരവാദിത്തവും സ്റ്റാൻഡ്uബൈ NN ഏറ്റെടുക്കും.

നെയിംനോഡ് ഉയർന്ന ലഭ്യത പ്രവർത്തനക്ഷമമാക്കുന്നതിന്, സ്വയമേവയുള്ള പരാജയത്തിന് സൂക്കീപ്പർ നിർബന്ധമാണ്. ZKFC (Zookeeper Failover Controller) നെയിംനോഡിന്റെ അവസ്ഥ നിലനിർത്താൻ ഉപയോഗിക്കുന്ന ഒരു സൂക്കീപ്പർ ക്ലയന്റാണ്.

• CentOS/RHEL 7-ൽ ഹഡൂപ്പ് സെർവർ വിന്യസിക്കുന്നതിനുള്ള മികച്ച സമ്പ്രദായങ്ങൾ - ഭാഗം 1
• ഹഡൂപ്പ് പ്രീ-ആവശ്യകതകളും സുരക്ഷാ കാഠിന്യവും സജ്ജീകരിക്കുന്നു - ഭാഗം 2
• CentOS/RHEL 7-ൽ ക്ലൗഡറ മാനേജർ എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യാം - ഭാഗം 3
• CentOS/RHEL 7-ൽ CDH എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യാം, സർവീസ് പ്ലേസ്uമെന്റുകൾ കോൺഫിഗർ ചെയ്യാം - ഭാഗം 4

ഈ ലേഖനത്തിൽ, ഞങ്ങൾ Cloudera Manager-ൽ Namenode ഉയർന്ന ലഭ്യത പ്രവർത്തനക്ഷമമാക്കാൻ പോകുന്നു.

ഘട്ടം 1: സൂക്കീപ്പറിന്റെ ഇൻസ്റ്റാളേഷൻ

1. Cloudera Manager-ലേക്ക് ലോഗിൻ ചെയ്യുക.

http://Your-IP:7180/cmf/home

2. ക്ലസ്റ്റർ (ടെക്മിന്റ്) ആക്ഷൻ പ്രോംപ്റ്റിൽ, \സേവനം ചേർക്കുക തിരഞ്ഞെടുക്കുക.

3. \സൂക്കീപ്പർ എന്ന സേവനം തിരഞ്ഞെടുക്കുക.

4. നാം Zookeeper ഇൻസ്റ്റാൾ ചെയ്യാൻ പോകുന്ന സെർവറുകൾ തിരഞ്ഞെടുക്കുക.

5. സൂക്കീപ്പർ ക്വാറം രൂപീകരിക്കാൻ ഞങ്ങൾക്ക് 3 മൃഗശാലാ പരിപാലകരുണ്ടാകും. താഴെ സൂചിപ്പിച്ചതുപോലെ സെർവറുകൾ തിരഞ്ഞെടുക്കുക.

6. Zookeeper പ്രോപ്പർട്ടികൾ കോൺഫിഗർ ചെയ്യുക, ഇവിടെ നമുക്ക് ഡിഫോൾട്ട് ഉള്ളവയുണ്ട്. തത്സമയം, സൂക്കീപ്പർ ഡാറ്റ സംഭരിക്കുന്നതിന് നിങ്ങൾക്ക് പ്രത്യേക ഡയറക്ടറി/മൗണ്ട് പോയിന്റുകൾ ഉണ്ടായിരിക്കണം. ഭാഗം-1ൽ, ഓരോ സേവനത്തിനുമുള്ള സ്റ്റോറേജ് കോൺഫിഗറേഷനെക്കുറിച്ച് ഞങ്ങൾ വിശദീകരിച്ചിട്ടുണ്ട്. തുടരാൻ 'തുടരുക' ക്ലിക്ക് ചെയ്യുക.

7. ഇൻസ്റ്റാളേഷൻ ആരംഭിക്കും, ഒരിക്കൽ ഇൻസ്റ്റാൾ ചെയ്ത Zookeeper ആരംഭിക്കും. നിങ്ങൾക്ക് ഇവിടെ പശ്ചാത്തല പ്രവർത്തനങ്ങൾ കാണാൻ കഴിയും.

8. മുകളിൽ പറഞ്ഞ ഘട്ടം വിജയകരമായി പൂർത്തിയാക്കിയ ശേഷം, സ്റ്റാറ്റസ് 'പൂർത്തിയാകും'.

9. ഇപ്പോൾ, Zookeeper വിജയകരമായി ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്തു. 'പൂർത്തിയാക്കുക' ക്ലിക്ക് ചെയ്യുക.

10. നിങ്ങൾക്ക് Cloudera Manager ഡാഷ്uബോർഡിൽ Zookeeper സേവനം കാണാൻ കഴിയും.

ഘട്ടം 2: നെയിംനോഡ് ഉയർന്ന ലഭ്യത പ്രവർത്തനക്ഷമമാക്കുന്നു

11. ക്ലൗഡറ മാനേജർ –> HDFS –> പ്രവർത്തനങ്ങൾ –> ഉയർന്ന ലഭ്യത പ്രാപ്തമാക്കുക എന്നതിലേക്ക് പോകുക.

12. നെയിംസർവീസ് പേര് \nameservice1 എന്ന് നൽകുക - ഇത് സജീവവും സ്റ്റാൻഡ്uബൈ നെയിംനോഡിനുള്ള ഒരു പൊതു നെയിംസ്പേസാണ്.

13. നമുക്ക് സ്റ്റാൻഡ്uബൈ നെയിംനോഡ് ലഭിക്കാൻ പോകുന്ന രണ്ടാമത്തെ നെയിംനോഡ് തിരഞ്ഞെടുക്കുക.

14. ഇവിടെ നമ്മൾ സ്റ്റാൻഡ്uബൈ നെയിംനോഡിനായി master2.linux-console.net തിരഞ്ഞെടുക്കുന്നു.

15. ജേർണൽ നോഡുകൾ തിരഞ്ഞെടുക്കുക, സജീവവും സ്റ്റാൻഡ്ബൈ നെയിംനോഡും സമന്വയിപ്പിക്കുന്നതിനുള്ള നിർബന്ധിത സേവനങ്ങളാണ് ഇവ.

16. താഴെ പറഞ്ഞിരിക്കുന്നതുപോലെ 3 സെർവറുകളിൽ ജേർണൽ നോഡ് സ്ഥാപിച്ച് ഞങ്ങൾ കോറം ജേണൽ ഉണ്ടാക്കുന്നു. 3 സെർവറുകൾ തിരഞ്ഞെടുത്ത് 'ശരി' ക്ലിക്കുചെയ്യുക.

17. തുടരാൻ 'തുടരുക' ക്ലിക്ക് ചെയ്യുക.

18. ജേണൽ നോഡ് ഡയറക്ടറി പാത്ത് നൽകുക. ഈ ഡയറക്uടറി ഇൻസ്uറ്റാൾ ചെയ്യുമ്പോൾ, സേവനം തന്നെ സ്വയമേവ സൃഷ്uടിക്കുന്ന പാതയെ കുറിച്ച് നമ്മൾ പരാമർശിക്കേണ്ടതുണ്ട്. ഞങ്ങൾ '/jn' എന്ന് പരാമർശിക്കുന്നു. തുടരാൻ 'തുടരുക' ക്ലിക്ക് ചെയ്യുക.

19. ഇത് ഉയർന്ന ലഭ്യത പ്രാപ്തമാക്കാൻ തുടങ്ങും.

20. എല്ലാ പശ്ചാത്തല പ്രക്രിയകളും പൂർത്തിയാക്കിയാൽ, നമുക്ക് 'പൂർത്തിയായ' നില ലഭിക്കും.

21. അവസാനമായി, 'ഉയർന്ന ലഭ്യത വിജയകരമായി പ്രവർത്തനക്ഷമമാക്കി' എന്ന അറിയിപ്പ് ഞങ്ങൾക്ക് ലഭിക്കും. 'പൂർത്തിയാക്കുക' ക്ലിക്ക് ചെയ്യുക.

22. Cloudera Manager –> HDFS –> Instances എന്നതിലേക്ക് പോയി സജീവവും സ്റ്റാൻഡ്uബൈ നെയിംനോഡും സ്ഥിരീകരിക്കുക.

23. ഇവിടെ, നിങ്ങൾക്ക് രണ്ട് നെയിംനോഡുകൾ വേർതിരിക്കാം, ഒന്ന് 'സജീവ' നിലയിലും മറ്റൊന്ന് 'സ്റ്റാൻഡ്uബൈ' നിലയിലുമായിരിക്കും.

ഈ ലേഖനത്തിൽ, നെയിംനോഡ് ഉയർന്ന ലഭ്യത പ്രവർത്തനക്ഷമമാക്കുന്നതിനുള്ള ഘട്ടം ഘട്ടമായുള്ള പ്രക്രിയയിലൂടെ ഞങ്ങൾ കടന്നുപോയി. ഒരു തത്സമയ പരിതസ്ഥിതിയിൽ എല്ലാ ക്ലസ്റ്ററുകളിലും നെയിംനോഡ് ഉയർന്ന ലഭ്യത ഉണ്ടായിരിക്കാൻ വളരെ ശുപാർശ ചെയ്യുന്നു. ഈ പ്രക്രിയ നടത്തുമ്പോൾ എന്തെങ്കിലും പിശക് നേരിട്ടാൽ നിങ്ങളുടെ സംശയങ്ങൾ പോസ്റ്റ് ചെയ്യുക. റിസോഴ്സ് മാനേജർ ഉയർന്ന ലഭ്യത അടുത്ത ലേഖനത്തിൽ നമുക്ക് കാണാം.