Hive and Derby Installation

[ritch...@abrs.com.hk]

Skills / Competency: to install hive and associated derby database in Linux environment

Essential Steps: 

- Follow the guides links attached, you may install with a pre-built/pre-compiled stable release, or source files with your own compilation. Follow the first if you are in-experienced

- Hive needs to connect to either an "Embedded/Local" or "Remote "  database for storage of metadata

- Derby is the built-in or embedded DB that get downloaded, and can be configured as either mode

- Modification to relevant xml and environmental files (~/.bashrc,   hive-site.xml,  hive-env.sh) is required

- Java class path need to be properly modified to access the compiled jar files  

                                                                                                                                                                                                                                                                                                                  

Installation Guides:

a. http://dbaclass.com/article/hive-installation-derby/  

b. https://cwiki.apache.org/confluence/display/Hive/GettingStarted

c. https://db.apache.org/derby/papers/DerbyTut/install_software.html

d. https://db.apache.org/derby/papers/DerbyTut/ij_intro.html

Related Information:

a. Hive Server - https://stackoverflow.com/questions/40924632/what-is-hiveserver-and-thrift-server

Points to note in installation:

                                                                                                                                                                                                                                                                                                   

a) I realized in hive: hive-site.xml and in the installation steps to create /user/hive/warehouse:

"**user**" can be so easily confused with "**usr**" without any alert at all. so remember:

under hadoop fs, this is /user/hive/warehouse, which points to metadata_db folder,  to create (NOT /usr/hive/warehouse)  

b) It can be confusing as there are more than one way to set those parameters                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

There are two modes - embedded/local mode vs remote mode of database