CentOS/RHEL 7-ൽ ഹഡൂപ്പ് സെർവർ വിന്യസിക്കുന്നതിനുള്ള മികച്ച സമ്പ്രദായങ്ങൾ - ഭാഗം 1


ഈ ലേഖന പരമ്പരയിൽ, ഞങ്ങൾ ക്ലൗഡേറ ഹഡൂപ്പ് ക്ലസ്റ്റർ ബിൽഡിംഗ് ബിൽഡിംഗിനെ വെണ്ടറും ഇൻഡസ്ട്രിയൽ ശുപാർശ ചെയ്യുന്ന മികച്ച രീതികളും ഉൾപ്പെടുത്താൻ പോകുന്നു.

OS ഇൻസ്റ്റാളേഷനും OS ലെവൽ ചെയ്യുന്നതും ഒരു ഹഡൂപ്പ് ക്ലസ്റ്റർ നിർമ്മിക്കുന്നതിനുള്ള ആദ്യ ഘട്ടങ്ങളാണ്. ലിനക്uസ് പ്ലാറ്റ്uഫോമിന്റെ വിവിധ ഫ്ലേവറുകളിൽ ഹഡൂപ്പിന് പ്രവർത്തിക്കാൻ കഴിയും: CentOS, RedHat, Ubuntu, Debian, SUSE തുടങ്ങിയവ., തത്സമയ ഉൽപ്പാദനത്തിൽ, മിക്ക ഹഡൂപ്പ് ക്ലസ്റ്ററുകളും RHEL/CentOS- ന് മുകളിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്, ഞങ്ങൾ പ്രകടനത്തിനായി CentOS 7 ഉപയോഗിക്കും. ഈ ട്യൂട്ടോറിയലുകളുടെ പരമ്പരയിൽ.

ഒരു ഓർഗനൈസേഷനിൽ, കിക്ക്സ്റ്റാർട്ട് ഉപയോഗിച്ച് OS ഇൻസ്റ്റാളേഷൻ നടത്താം. ഇത് 3 മുതൽ 4 വരെ നോഡ് ക്ലസ്റ്ററാണെങ്കിൽ, മാനുവൽ ഇൻസ്റ്റാളേഷൻ സാധ്യമാണ്, എന്നാൽ 10-ലധികം നോഡുകളുള്ള ഒരു വലിയ ക്ലസ്റ്റർ ഞങ്ങൾ നിർമ്മിക്കുകയാണെങ്കിൽ, OS ഓരോന്നായി ഇൻസ്റ്റാൾ ചെയ്യുന്നത് ശ്രമകരമാണ്. ഈ സാഹചര്യത്തിൽ, കിക്ക്സ്റ്റാർട്ട് രീതി ചിത്രത്തിൽ വരുന്നു, നമുക്ക് കിക്ക്സ്റ്റാർട്ട് ഉപയോഗിച്ച് മാസ് ഇൻസ്റ്റലേഷനുമായി മുന്നോട്ട് പോകാം.

ശരിയായ ഹാർഡ്uവെയറും സോഫ്uറ്റ്uവെയറും ലഭ്യമാക്കുന്നതിനെ ആശ്രയിച്ചാണ് ഹഡൂപ്പ് പരിതസ്ഥിതിയിൽ നിന്ന് മികച്ച പ്രകടനം കൈവരിക്കുന്നത്. അതിനാൽ, ഒരു പ്രൊഡക്ഷൻ ഹഡൂപ്പ് ക്ലസ്റ്റർ നിർമ്മിക്കുന്നത് ഹാർഡ്uവെയറും സോഫ്റ്റ്uവെയറും സംബന്ധിച്ച് വളരെയധികം പരിഗണനകൾ ഉൾക്കൊള്ളുന്നു.

ഈ ലേഖനത്തിൽ, OS ഇൻസ്റ്റാളേഷനെക്കുറിച്ചും CentOS/RHEL 7-ൽ Cloudera Hadoop Cluster Server വിന്യസിക്കുന്നതിനുള്ള ചില മികച്ച രീതികളെക്കുറിച്ചും ഞങ്ങൾ വിവിധ ബെഞ്ച്മാർക്കുകൾ പരിശോധിക്കും.

ഹഡൂപ്പ് സെർവർ വിന്യസിക്കുന്നതിനുള്ള പ്രധാന പരിഗണനയും മികച്ച രീതികളും

CentOS/RHEL 7-ൽ Cloudera Hadoop Cluster Server വിന്യസിക്കുന്നതിനുള്ള മികച്ച സമ്പ്രദായങ്ങൾ ഇനിപ്പറയുന്നവയാണ്.

  • ഒരു ക്ലസ്റ്റർ നിർമ്മിക്കുന്നതിന് ഹഡൂപ്പ് സെർവറുകൾക്ക് എന്റർപ്രൈസ് സ്റ്റാൻഡേർഡ് സെർവറുകൾ ആവശ്യമില്ല, അതിന് ചരക്ക് ഹാർഡ്uവെയർ ആവശ്യമാണ്.
  • പ്രൊഡക്ഷൻ ക്ലസ്റ്ററിൽ, 8 മുതൽ 12 വരെ ഡാറ്റ ഡിസ്കുകൾ ഉള്ളത് ശുപാർശ ചെയ്യുന്നു. ജോലിഭാരത്തിന്റെ സ്വഭാവമനുസരിച്ച്, ഇത് തീരുമാനിക്കേണ്ടതുണ്ട്. ക്ലസ്റ്റർ കമ്പ്യൂട്ട്-ഇന്റൻസീവ് ആപ്ലിക്കേഷനുകൾക്കുള്ളതാണെങ്കിൽ, I/O പ്രശ്നങ്ങൾ ഒഴിവാക്കാൻ 4 മുതൽ 6 വരെ ഡ്രൈവുകൾ ഉള്ളതാണ് നല്ലത്.
  • ഡാറ്റ ഡ്രൈവുകൾ വ്യക്തിഗതമായി പാർട്ടീഷൻ ചെയ്യണം, ഉദാഹരണത്തിന് - /data01 മുതൽ /data10 വരെ.
  • വർക്കർ നോഡുകൾക്ക് റെയ്ഡ് കോൺഫിഗറേഷൻ ശുപാർശ ചെയ്യുന്നില്ല, കാരണം ബ്ലോക്കുകളെ ഡിഫോൾട്ടായി 3 ആക്കി ഡേറ്റയിൽ തെറ്റ് സഹിഷ്ണുത ഹഡൂപ്പ് തന്നെ നൽകുന്നു. അതിനാൽ വർക്കർ നോഡുകൾക്ക് JBOD മികച്ചതാണ്.
  • മാസ്റ്റർ സെർവറുകൾക്ക്, റെയിഡ് 1 ആണ് ഏറ്റവും നല്ല സമ്പ്രദായം.
  • CentOS/RHEL 7.x-ലെ ഡിഫോൾട്ട് ഫയൽസിസ്റ്റം XFS ആണ്. XFS, ext3, ext4 എന്നിവയെ ഹഡൂപ്പ് പിന്തുണയ്ക്കുന്നു. നല്ല പ്രകടനത്തിനായി പരീക്ഷിച്ചതിനാൽ ശുപാർശ ചെയ്യുന്ന ഫയൽ-സിസ്റ്റം ext3 ആണ്.
  • എല്ലാ സെർവറുകൾക്കും ഒരേ OS പതിപ്പ് ഉണ്ടായിരിക്കണം, കുറഞ്ഞത് ഒരേ ചെറിയ റിലീസ്.
  • ഏറ്റവും മികച്ച ഹാർഡ്uവെയർ ഉണ്ടായിരിക്കുന്നതാണ് നല്ലത് (എല്ലാ വർക്കർ നോഡുകൾക്കും ഒരേ ഹാർഡ്uവെയർ സവിശേഷതകൾ ഉണ്ടായിരിക്കണം (റാം, ഡിസ്uക് സ്uപെയ്uസ് & കോർ മുതലായവ).
  • ക്ലസ്റ്റർ വർക്ക് ലോഡും (ബാലൻസ്ഡ് വർക്ക്ലോഡ്, കമ്പ്യൂട്ട് ഇന്റൻസീവ്, I/O ഇന്റൻസീവ്) വലുപ്പവും, റിസോഴ്uസ് (റാം, സിപിയു) പ്ലാനിംഗും അനുസരിച്ച് ഓരോ സെർവറിനും വ്യത്യാസമുണ്ടാകും.

24TB സംഭരണത്തിന്റെ സെർവറുകളുടെ ഡിസ്ക് പാർട്ടീഷനിംഗിന് താഴെയുള്ള ഉദാഹരണം കണ്ടെത്തുക.

Hadoop സെർവർ വിന്യാസത്തിനായി CentOS 7 ഇൻസ്റ്റാൾ ചെയ്യുന്നു

Hadoop സെർവറിനായി CentOS 7 സെർവർ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിന് മുമ്പ് നിങ്ങൾ അറിഞ്ഞിരിക്കേണ്ട കാര്യങ്ങൾ.

  • ഹഡൂപ്പ് സെർവറുകൾക്ക് (വർക്കർ നോഡുകൾ) കുറഞ്ഞ ഇൻസ്റ്റാളേഷൻ മതിയാകും, ചില സാഹചര്യങ്ങളിൽ, മാനേജ്uമെന്റ് ടൂളുകളുടെ വെബ് യുഐകൾക്കായി ബ്രൗസറുകൾ ഉപയോഗിക്കാൻ കഴിയുന്ന മാസ്റ്റർ സെർവറുകളിലോ മാനേജ്uമെന്റ് സെർവറുകളിലോ മാത്രമേ GUI ഇൻസ്റ്റാൾ ചെയ്യാൻ കഴിയൂ.
  • നെറ്റ്uവർക്കുകൾ, ഹോസ്റ്റ്നാമം, മറ്റ് OS-മായി ബന്ധപ്പെട്ട ക്രമീകരണങ്ങൾ എന്നിവ കോൺഫിഗർ ചെയ്യുന്നത് OS ഇൻസ്റ്റാളേഷന് ശേഷം ചെയ്യാവുന്നതാണ്.
  • തത്സമയം, സെർവറുകൾ സംവദിക്കാനും നിയന്ത്രിക്കാനും സെർവർ വെണ്ടർമാർക്ക് അവരുടേതായ കൺസോൾ ഉണ്ടായിരിക്കും, ഉദാഹരണത്തിന് - ഡെൽ സെർവറുകൾക്ക് സെർവറുകളിൽ ഉൾച്ചേർത്ത ഒരു ഉപകരണമായ iDRAC ഉണ്ട്. ആ iDRAC ഇന്റർഫേസ് ഉപയോഗിച്ച് നമ്മുടെ ലോക്കൽ സിസ്റ്റത്തിൽ OS ഇമേജ് ഉള്ള OS ഇൻസ്റ്റാൾ ചെയ്യാം.

ഈ ലേഖനത്തിൽ, ഞങ്ങൾ VMware വെർച്വൽ മെഷീനിൽ OS (CentOS 7) ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ട്. ഇവിടെ, പാർട്ടീഷനുകൾ നടത്താൻ നമുക്ക് ഒന്നിലധികം ഡിസ്കുകൾ ഉണ്ടാകില്ല. CentOS RHEL-ന് സമാനമാണ് (അതേ പ്രവർത്തനം), അതിനാൽ CentOS ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനുള്ള ഘട്ടങ്ങൾ ഞങ്ങൾ കാണും.

1. നിങ്ങളുടെ ലോക്കൽ വിൻഡോസ് സിസ്റ്റത്തിൽ CentOS 7.x ISO ഇമേജ് ഡൗൺലോഡ് ചെയ്തുകൊണ്ട് ആരംഭിക്കുക, വെർച്വൽ മെഷീൻ ബൂട്ട് ചെയ്യുമ്പോൾ അത് തിരഞ്ഞെടുക്കുക. കാണിച്ചിരിക്കുന്നതുപോലെ 'CentOS 7 ഇൻസ്റ്റാൾ ചെയ്യുക' തിരഞ്ഞെടുക്കുക.

2. ഭാഷ തിരഞ്ഞെടുക്കുക, സ്ഥിരസ്ഥിതി ഇംഗ്ലീഷ് ആയിരിക്കും, തുടർന്ന് തുടരുക ക്ലിക്കുചെയ്യുക.

3. സോഫ്uറ്റ്uവെയർ തിരഞ്ഞെടുക്കൽ - 'മിനിമൽ ഇൻസ്റ്റലേഷൻ' തിരഞ്ഞെടുത്ത് 'പൂർത്തിയായി' ക്ലിക്ക് ചെയ്യുക.

4. റൂട്ട് പാസ്uവേഡ് സെറ്റ് ചെയ്യാൻ അത് നമ്മോട് ആവശ്യപ്പെടും.

5. ഇൻസ്റ്റലേഷൻ ഡെസ്റ്റിനേഷൻ - ജാഗ്രത പാലിക്കേണ്ട പ്രധാന ഘട്ടമാണിത്. OS ഇൻസ്റ്റാൾ ചെയ്യേണ്ട ഡിസ്ക് നമ്മൾ തിരഞ്ഞെടുക്കേണ്ടതുണ്ട്, OS-നായി ഡെഡിക്കേറ്റഡ് ഡിസ്ക് തിരഞ്ഞെടുക്കണം. 'ഇൻസ്റ്റലേഷൻ ഡെസ്റ്റിനേഷൻ' ക്ലിക്ക് ചെയ്ത് ഡിസ്ക് തിരഞ്ഞെടുക്കുക, തത്സമയം ഒന്നിലധികം ഡിസ്കുകൾ ഉണ്ടാകും, നമ്മൾ തിരഞ്ഞെടുക്കേണ്ടതുണ്ട്, അഭികാമ്യമായ 'sda'.

6. മറ്റ് സ്റ്റോറേജ് ഓപ്uഷനുകൾ - /var, /var/log, /home, /tmp, /opt, /swap പോലെയുള്ള OS-മായി ബന്ധപ്പെട്ട പാർട്ടീഷനിംഗ് ക്രമീകരിക്കുന്നതിന് രണ്ടാമത്തെ ഓപ്ഷൻ (ഞാൻ പാർട്ടീഷനിംഗ് ക്രമീകരിക്കും) തിരഞ്ഞെടുക്കുക.

7. ചെയ്തുകഴിഞ്ഞാൽ, ഇൻസ്റ്റലേഷൻ ആരംഭിക്കുക.

8. ഇൻസ്റ്റലേഷൻ പൂർത്തിയായിക്കഴിഞ്ഞാൽ, സെർവർ റീബൂട്ട് ചെയ്യുക.

9. സെർവറിലേക്ക് ലോഗിൻ ചെയ്ത് ഹോസ്റ്റ്നാമം സജ്ജമാക്കുക.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

ഈ ലേഖനത്തിൽ, ഞങ്ങൾ OS ഇൻസ്റ്റാളേഷൻ ഘട്ടങ്ങളിലൂടെയും ഫയൽസിസ്റ്റം പാർട്ടീഷനിംഗിനുള്ള മികച്ച രീതികളിലൂടെയും കടന്നുപോയി. ഇവയെല്ലാം പൊതുവായ മാർഗ്ഗനിർദ്ദേശങ്ങളാണ്, ജോലിഭാരത്തിന്റെ സ്വഭാവമനുസരിച്ച്, ക്ലസ്റ്ററിന്റെ മികച്ച പ്രകടനം നേടുന്നതിന് ഞങ്ങൾ കൂടുതൽ സൂക്ഷ്മതകളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കേണ്ടതായി വന്നേക്കാം. ഹഡൂപ്പ് അഡ്മിനിസ്ട്രേറ്റർക്ക് ക്ലസ്റ്റർ പ്ലാനിംഗ് കലയാണ്. അടുത്ത ലേഖനത്തിൽ OS ലെവൽ പ്രീ-റിക്വിസിറ്റുകളിലേക്കും സുരക്ഷാ കാഠിന്യത്തിലേക്കും ഞങ്ങൾ ആഴത്തിൽ ഇറങ്ങും.