RHEL/CentOS 6/5-ൽ CDH 4.X-നായി Apache Oozie വർക്ക്ഫ്ലോ ഷെഡ്യൂളർ ഇൻസ്റ്റാൾ ചെയ്ത് കോൺഫിഗർ ചെയ്യുക


ഹഡൂപ്പിന്റെ ഒരു ഓപ്പൺ സോഴ്uസ് ഷെഡ്യൂളറാണ് Oozie, ഇത് വർക്ക്ഫ്ലോയും ജോലികൾ തമ്മിലുള്ള ഏകോപനവും ലളിതമാക്കുന്നു. ഒരു ഇൻപുട്ട് ഡാറ്റയ്uക്കായി ജോലികൾ തമ്മിലുള്ള ആശ്രിതത്വം നമുക്ക് നിർവചിക്കാം, അതിനാൽ ooze ഷെഡ്യൂളർ ഉപയോഗിച്ച് ജോലിയെ ആശ്രയിക്കുന്നത് ഓട്ടോമേറ്റ് ചെയ്യാം.

ഈ ട്യൂട്ടോറിയലിൽ, ഞാൻ എന്റെ മാസ്റ്റർ നോഡിൽ Oozie ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ട് (അതായത് master ഹോസ്റ്റ്നാമമായും namenode/JT ഇൻസ്റ്റാൾ ചെയ്തിരിക്കുന്നിടത്തും) എന്നിരുന്നാലും പ്രൊഡക്ഷൻ സിസ്റ്റത്തിൽ oozie പ്രത്യേക ഹഡൂപ്പിൽ ഇൻസ്റ്റാൾ ചെയ്യണം. നോഡ്.

ഇൻസ്റ്റാളേഷൻ നിർദ്ദേശങ്ങൾ രണ്ട് ഭാഗങ്ങളായി തിരിച്ചിരിക്കുന്നു, ഞങ്ങൾ അതിനെ എ, ബി എന്ന് വിളിക്കുന്നു.

  1. എ. Oozie ഇൻസ്റ്റാളേഷൻ.
  2. ബി. Oozie കോൺഫിഗറേഷൻ.

താഴെ പറയുന്ന 'hostname' കമാൻഡ് ഉപയോഗിച്ച് നമുക്ക് ആദ്യം സിസ്റ്റം ഹോസ്റ്റ്നാമം പരിശോധിക്കാം.

 hostname

master

രീതി A: RHEL/CentOS 6/5-ൽ Oozie ഇൻസ്റ്റലേഷൻ

CDH4 ഇൻസ്റ്റാൾ ചെയ്യാൻ ഞങ്ങൾ ക്ലൗഡറയുടെ സൈറ്റിൽ നിന്നുള്ള ഔദ്യോഗിക CDH റിപ്പോസിറ്ററി ഉപയോഗിക്കുന്നു. ഔദ്യോഗിക CDH ഡൗൺലോഡ് വിഭാഗത്തിലേക്ക് പോയി CDH4 (അതായത് 4.6) പതിപ്പ് ഡൗൺലോഡ് ചെയ്യുക അല്ലെങ്കിൽ നിങ്ങൾക്ക് ശേഖരം ഡൗൺലോഡ് ചെയ്ത് ഇൻസ്റ്റാൾ ചെയ്യാൻ ഇനിപ്പറയുന്ന wget കമാൻഡ് ഉപയോഗിക്കാം.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

ഒരിക്കൽ, നിങ്ങളുടെ സിസ്റ്റത്തിന് കീഴിൽ CDH റിപ്പോസിറ്ററി ചേർത്തുകഴിഞ്ഞാൽ, സിസ്റ്റത്തിൽ Oozie ഇൻസ്റ്റാൾ ചെയ്യാൻ നിങ്ങൾക്ക് ഇനിപ്പറയുന്ന കമാൻഡ് ഉപയോഗിക്കാം.

 yum install oozie

ഇപ്പോൾ, oozie ക്ലയന്റ് ഇൻസ്റ്റാൾ ചെയ്യുക (മുകളിലുള്ള കമാൻഡ് ക്ലയന്റ് ഇൻസ്റ്റാളേഷൻ ഭാഗം ഉൾക്കൊള്ളണം, ഇല്ലെങ്കിൽ കമാൻഡിന് താഴെ ശ്രമിക്കുക).

 yum install oozie-client

ശ്രദ്ധിക്കുക: സിസ്റ്റം സ്റ്റാർട്ടപ്പിൽ പ്രവർത്തിപ്പിക്കുന്നതിന് മുകളിലുള്ള ഇൻസ്റ്റാളേഷൻ ഓസി സേവനവും ക്രമീകരിക്കുന്നു. നല്ല ജോലി! ഇൻസ്റ്റാളേഷന്റെ ആദ്യ ഭാഗം ഞങ്ങൾ പൂർത്തിയാക്കി, ഇപ്പോൾ oozie ക്രമീകരിക്കുന്നതിന് നമുക്ക് രണ്ടാം ഭാഗത്തേക്ക് പോകാം.

രീതി B: RHEL/CentOS 6/5-ൽ Oozie കോൺഫിഗറേഷൻ

Oozie നേരിട്ട് ഹഡൂപ്പുമായി ഇടപഴകാത്തതിനാൽ, ഞങ്ങൾക്ക് ഇവിടെ മാപ്പ് ചെയ്ത കോൺഫിഗറേഷൻ ആവശ്യമില്ല.

മുന്നറിയിപ്പ്: oozie പ്രവർത്തിക്കാത്ത സമയത്ത് എല്ലാ ക്രമീകരണങ്ങളും കോൺഫിഗർ ചെയ്യുക, അതിനർത്ഥം oozie സേവനം പ്രവർത്തിക്കാത്ത സമയത്ത് നിങ്ങൾ താഴെയുള്ള ഘട്ടങ്ങൾ പാലിക്കണം എന്നാണ്.

ഡിബിയിൽ ഡിഫോൾട്ടായി ഓസിക്ക് 'ഡെർബി' ഉണ്ട്, എന്നിരുന്നാലും, നിങ്ങൾ Mysql DB ഉപയോഗിക്കാൻ ഞാൻ ശുപാർശ ചെയ്യുന്നു. അതിനാൽ, ഇനിപ്പറയുന്ന ലേഖനം ഉപയോഗിച്ച് നമുക്ക് MySQL ഡാറ്റാബേസ് ഇൻസ്റ്റാൾ ചെയ്യാം.

  1. RHEL/CentOS 6/5-ൽ MySQL ഡാറ്റാബേസ് ഇൻസ്റ്റാൾ ചെയ്യുക

നിങ്ങൾ ഇൻസ്റ്റാളേഷൻ ഭാഗം പൂർത്തിയാക്കിക്കഴിഞ്ഞാൽ, താഴെ കാണിച്ചിരിക്കുന്നതുപോലെ oozie DB സൃഷ്ടിക്കുന്നതിനും പ്രത്യേകാവകാശങ്ങൾ നൽകുന്നതിനും അടുത്തതായി നീങ്ങുക.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

അടുത്തതായി, MySQL-നായി Oozie പ്രോപ്പർട്ടികൾ ക്രമീകരിക്കുക. 'oozie-site.xml' ഫയൽ തുറന്ന് ഇനിപ്പറയുന്ന പ്രോപ്പർട്ടികൾ കാണിച്ചിരിക്കുന്നത് പോലെ എഡിറ്റ് ചെയ്യുക.

 cd /etc/oozie/conf
 vi oozie-site.xml

ഇനിപ്പറയുന്ന പ്രോപ്പർട്ടികൾ നൽകുക (മാസ്റ്റർ [എന്റെ ഹോസ്റ്റ്നാമം] നിങ്ങളുടെ ഹോസ്റ്റ്നാമം ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുക).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Oozie lib ഡയറക്ടറിയിലേക്ക് MySQL JDBC കണക്റ്റിവിറ്റി ഡ്രൈവർ JAR ഡൗൺലോഡ് ചെയ്uത് ചേർക്കുക. അങ്ങനെ ചെയ്യുന്നതിന്, ടെർമിനലിൽ ഇനിപ്പറയുന്ന ഗുരുതരമായ കമാൻഡ് പ്രവർത്തിപ്പിക്കുക.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

താഴെയുള്ള കമാൻഡുകൾ എക്സിക്യൂട്ട് ചെയ്തുകൊണ്ട് oozie ഡാറ്റാബേസ് സ്കീമ സൃഷ്ടിക്കുക, ഇത് oozie ഉപയോക്താവായി പ്രവർത്തിപ്പിക്കണമെന്ന് ദയവായി ശ്രദ്ധിക്കുക.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Oozie വെബ് കൺസോൾ പ്രവർത്തനക്ഷമമാക്കാൻ നിങ്ങൾ ഇന്റർനെറ്റിൽ നിന്ന് ExtJS lib ഡൗൺലോഡ് ചെയ്യേണ്ടതുണ്ട്. ഔദ്യോഗിക CDH ExtJS പേജിലേക്ക് പോകുക, ExtJS പതിപ്പ് 2.2 ലൈബ്രറികൾ ഡൗൺലോഡ് ചെയ്യുക അല്ലെങ്കിൽ ഇനിപ്പറയുന്ന കമാൻഡ് ഉപയോഗിച്ച് നിങ്ങൾക്ക് പാക്കേജ് ഡൗൺലോഡ് ചെയ്യാം.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

അവസാനമായി, ഇനിപ്പറയുന്ന കമാൻഡുകൾ പ്രവർത്തിപ്പിച്ച് oozie സെർവർ ആരംഭിക്കുക.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

നിങ്ങളുടെ പ്രിയപ്പെട്ട ബ്രൗസർ ഉപയോഗിച്ച് oozie UI തുറന്ന് നിങ്ങളുടെ IP വിലാസത്തിലേക്ക് പോയിന്റ് ചെയ്യുക. ഈ സാഹചര്യത്തിൽ, എന്റെ ഐപി 192.168.1.129 ആണ്.

http://192.168.1.129:11000

ഇപ്പോൾ ഈ യുഐ കണ്ടാൽ. അഭിനന്ദനങ്ങൾ!! നിങ്ങൾ oozie വിജയകരമായി ക്രമീകരിച്ചു.

ഈ നടപടിക്രമം RHEL/CentOS 6/5-ൽ വിജയകരമായി പരീക്ഷിച്ചു. എന്റെ വരാനിരിക്കുന്ന ലേഖനങ്ങളിൽ, ഓസി വഴി ഹഡൂപ്പ് ജോലികൾ എങ്ങനെ ക്രമീകരിക്കാമെന്നും ഷെഡ്യൂൾ ചെയ്യാമെന്നും ഞാൻ പങ്കിടാൻ പോകുന്നു. കൂടുതൽ കാര്യങ്ങൾക്കായി ബന്ധം നിലനിർത്തുക, നിങ്ങളുടെ ഫീഡ്uബാക്ക് കമന്റ് ചെയ്യാൻ മറക്കരുത്.