CentOS 7-ൽ ഒരൊറ്റ നോഡിൽ അപ്പാച്ചെ ഹഡൂപ്പ് എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യാം

കമ്പ്യൂട്ടർ ക്ലസ്റ്ററുകളിലുടനീളം വിതരണം ചെയ്ത ബിഗ് ഡാറ്റ സംഭരണത്തിനും പ്രോസസ്സിംഗ് ഡാറ്റയ്ക്കുമുള്ള ഒരു ഓപ്പൺ സോഴ്സ് ചട്ടക്കൂടാണ് അപ്പാച്ചെ ഹഡൂപ്പ്. പ്രോജക്റ്റ് ഇനിപ്പറയുന്ന ഘടകങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്:

ഹഡൂപ്പ് കോമൺ - മറ്റ് ഹഡൂപ്പ് മൊഡ്യൂളുകൾക്ക് ആവശ്യമായ ജാവ ലൈബ്രറികളും യൂട്ടിലിറ്റികളും ഇതിൽ അടങ്ങിയിരിക്കുന്നു.
HDFS - ഹഡൂപ്പ് ഡിസ്ട്രിബ്യൂട്ടഡ് ഫയൽ സിസ്റ്റം - ഒന്നിലധികം നോഡുകളിൽ വിതരണം ചെയ്യുന്ന ജാവ അടിസ്ഥാനമാക്കിയുള്ള സ്കേലബിൾ ഫയൽ സിസ്റ്റം.
MapReduce – സമാന്തര ബിഗ് ഡാറ്റ പ്രോസസ്സിംഗിനുള്ള YARN ഫ്രെയിംവർക്ക്.
Hadoop YARN: ക്ലസ്റ്റർ റിസോഴ്സ് മാനേജ്മെന്റിനുള്ള ഒരു ചട്ടക്കൂട്.

CentOS 7 (RHEL 7, Fedora 23+ പതിപ്പുകൾക്കും പ്രവർത്തിക്കുന്നു) ഒരൊറ്റ നോഡ് ക്ലസ്റ്ററിൽ Apache Hadoop എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യാം എന്നതിനെക്കുറിച്ച് ഈ ലേഖനം നിങ്ങളെ നയിക്കും. ഇത്തരത്തിലുള്ള കോൺഫിഗറേഷനെ ഹഡൂപ്പ് സ്യൂഡോ-ഡിസ്ട്രിബ്യൂട്ടഡ് മോഡ് എന്നും പരാമർശിക്കുന്നു.

ഘട്ടം 1: CentOS 7-ൽ Java ഇൻസ്റ്റാൾ ചെയ്യുക

1. ജാവ ഇൻസ്റ്റലേഷനുമായി മുന്നോട്ട് പോകുന്നതിന് മുമ്പ്, താഴെ പറയുന്ന കമാൻഡ് ഉപയോഗിച്ച് നിങ്ങളുടെ മെഷീൻ ഹോസ്റ്റ്നാമം സജ്ജീകരിക്കുക റൂട്ട് യൂസർ അല്ലെങ്കിൽ റൂട്ട് പ്രത്യേകാവകാശമുള്ള ഒരു ഉപയോക്താവ് ഉപയോഗിച്ച് ആദ്യം ലോഗിൻ ചെയ്യുക.

# hostnamectl set-hostname master

കൂടാതെ, നിങ്ങളുടെ സിസ്റ്റം IP വിലാസത്തിലേക്ക് പോയിന്റ് ചെയ്യുന്നതിന് നിങ്ങളുടെ സ്വന്തം മെഷീൻ FQDN ഉപയോഗിച്ച് ഹോസ്റ്റ് ഫയലിൽ ഒരു പുതിയ റെക്കോർഡ് ചേർക്കുക.

# vi /etc/hosts

ചുവടെയുള്ള വരി ചേർക്കുക:

192.168.1.41 master.hadoop.lan

മുകളിലുള്ള ഹോസ്റ്റ്നാമവും FQDN റെക്കോർഡുകളും നിങ്ങളുടെ സ്വന്തം ക്രമീകരണങ്ങൾ ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുക.

2. അടുത്തതായി, Oracle Java ഡൗൺലോഡ് പേജിലേക്ക് പോയി, curl കമാൻഡിന്റെ സഹായത്തോടെ നിങ്ങളുടെ സിസ്റ്റത്തിൽ Java SE Development Kit 8-ന്റെ ഏറ്റവും പുതിയ പതിപ്പ് നേടുക:

# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

3. ജാവ ബൈനറി ഡൗൺലോഡ് പൂർത്തിയായ ശേഷം, താഴെ പറയുന്ന കമാൻഡ് നൽകി പാക്കേജ് ഇൻസ്റ്റാൾ ചെയ്യുക:

# rpm -Uvh jdk-8u92-linux-x64.rpm

ഘട്ടം 2: CentOS 7-ൽ Hadoop ഫ്രെയിംവർക്ക് ഇൻസ്റ്റാൾ ചെയ്യുക

4. അടുത്തതായി, റൂട്ട് പവറുകൾ ഇല്ലാതെ നിങ്ങളുടെ സിസ്റ്റത്തിൽ ഒരു പുതിയ ഉപയോക്തൃ അക്കൗണ്ട് സൃഷ്uടിക്കുക, അത് ഞങ്ങൾ ഹഡൂപ്പ് ഇൻസ്റ്റാളേഷൻ പാതയ്ക്കും പ്രവർത്തന അന്തരീക്ഷത്തിനും ഉപയോഗിക്കും. പുതിയ അക്കൗണ്ട് ഹോം ഡയറക്uടറി /opt/hadoop ഡയറക്uടറിയിലായിരിക്കും.

# useradd -d /opt/hadoop hadoop
# passwd hadoop

5. അടുത്ത ഘട്ടത്തിൽ ഏറ്റവും പുതിയ സ്ഥിരതയുള്ള പതിപ്പിനായുള്ള ലിങ്ക് ലഭിക്കുന്നതിനും നിങ്ങളുടെ സിസ്റ്റത്തിൽ ആർക്കൈവ് ഡൗൺലോഡ് ചെയ്യുന്നതിനും അപ്പാച്ചെ ഹഡൂപ്പ് പേജ് സന്ദർശിക്കുക.

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

6. ആർക്കൈവ് എക്uസ്uട്രാക്uറ്റ് ചെയ്uത് ഡയറക്ടറി ഉള്ളടക്കം ഹഡൂപ്പ് അക്കൗണ്ട് ഹോം പാത്തിലേക്ക് പകർത്തുക. കൂടാതെ, പകർത്തിയ ഫയലുകളുടെ അനുമതികൾ അതിനനുസരിച്ച് മാറ്റുന്നുവെന്ന് ഉറപ്പാക്കുക.

#  tar xfz hadoop-2.7.2.tar.gz
# cp -rf hadoop-2.7.2/* /opt/hadoop/
# chown -R hadoop:hadoop /opt/hadoop/

7. അടുത്തതായി, hadoop ഉപയോക്താവുമായി ലോഗിൻ ചെയ്യുക, .bash_profile ഫയൽ എഡിറ്റ് ചെയ്തുകൊണ്ട് നിങ്ങളുടെ സിസ്റ്റത്തിൽ Hadoop, Java പരിസ്ഥിതി വേരിയബിളുകൾ കോൺഫിഗർ ചെയ്യുക.

# su - hadoop
$ vi .bash_profile

ഫയലിന്റെ അവസാനം ഇനിപ്പറയുന്ന വരികൾ ചേർക്കുക:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

8. ഇപ്പോൾ, എൻവയോൺമെന്റ് വേരിയബിളുകൾ സമാരംഭിച്ച് താഴെ പറയുന്ന കമാൻഡുകൾ നൽകി അവയുടെ നില പരിശോധിക്കുക:

$ source .bash_profile
$ echo $HADOOP_HOME
$ echo $JAVA_HOME

9. അവസാനമായി, താഴെയുള്ള കമാൻഡുകൾ പ്രവർത്തിപ്പിച്ച് ഹഡൂപ്പ് അക്കൗണ്ടിനായി ssh കീ അടിസ്ഥാനമാക്കിയുള്ള പ്രാമാണീകരണം കോൺഫിഗർ ചെയ്യുക (അതനുസരിച്ച് ssh-copy-id കമാൻഡിനെതിരെ ഹോസ്റ്റ്നാമം അല്ലെങ്കിൽ FQDN മാറ്റിസ്ഥാപിക്കുക).

കൂടാതെ, ssh വഴി സ്വയമേവ ലോഗിൻ ചെയ്യുന്നതിനായി ഫയൽ ചെയ്ത പാസ്ഫ്രെയ്സ് ശൂന്യമായി വിടുക.

$ ssh-keygen -t rsa
$ ssh-copy-id master.hadoop.lan