Apache Spark - Instalacion

Spark es sub-proyecto de Hadoop. Por lo tanto, es mejor instalar Spark en un sistema basado en Linux. Los siguientes pasos muestran cómo instalar Apache Spark.

Paso 1: Comprobación de la instalación de Java

Instalación de Java es una de las cosas obligatorias en la instalación de Spark.Pruebe el siguiente comando para verificar la versión de JAVA.

$java -version 

Si Java ya está instalado en su sistema, se llega a ver la siguiente respuesta -

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

En caso de que no tiene Java instalado en el sistema, a continuación, instalar Java antes de proceder al siguiente paso.

Paso 2: Verificación de la instalación Scala

Usted debe lenguaje Scala implementar Spark. Así que vamos a verificar la instalación utilizando Scala siguiente comando.

$scala -version

Si Scala ya está instalado en su sistema, se llega a ver la siguiente respuesta -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

En caso de que usted no tiene Scala instalado en el sistema, a continuación, proceder al siguiente paso para la instalación Scala.

Paso 3: Descarga de Scala

Descargue la versión más reciente de Scala por la visita el siguiente enlaceDescargar Scala. Para este tutorial, estamos utilizando la versión scala-2.11.6. Después de descargar, encontrará el archivo tar Scala en la carpeta de descargas.

Paso 4: Instalación de Scala

Siga los siguientes pasos dados para la instalación de Scala.

Extraiga el archivo tar Scala

Escriba el siguiente comando para extraer el archivo tar Scala.

$ tar xvf scala-2.11.6.tgz

Mover archivos de software Scala

Utilice los siguientes comandos para mover los archivos de software Scala, al respectivo directorio (/ / local / usr scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit 

Establecer ruta de Scala

Utilice el siguiente comando para configurar PATH para Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Comprobación de la instalación Scala

Después de la instalación, es mejor para comprobarlo. Utilice el siguiente comando para verificar la instalación Scala.

$scala -version

Si Scala ya está instalado en su sistema, se llega a ver la siguiente respuesta -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Paso 5: Descarga de Apache Spark

Descargue la versión más reciente de Spark visitando el siguiente enlaceDescargar Spark. Para este tutorial, estamos utilizando chispa-1.3.1-bin-hadoop2.6 versión. Después de descargarlo, se encuentra el archivo tar Spark en la carpeta de descarga.

Paso 6: Instalación de Spark

Siga los pasos que se indican a continuación para instalar Spark.

La extracción de alquitrán Spark

El siguiente comando para extraer el archivo tar chispa.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz 

Mover archivos de software Spark

Los siguientes comandos para mover los archivos de software de chispa al respectivo directorio (/ usr / local / chispa).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit 

Configuración del entorno de Spark

Agregue la siguiente línea a ~ /.bashrc archivo. Significa añadir la ubicación, donde se encuentra el archivo de software de chispa a la variable PATH.

export PATH = $PATH:/usr/local/spark/bin

Utilice el siguiente comando para el aprovisionamiento del archivo ~ / .bashrc.

$ source ~/.bashrc

Paso 7: Verificación de la instalación Spark

Escriba el siguiente comando para abrir la cáscara Spark.

$spark-shell

Si la chispa se ha instalado correctamente entonces usted encontrará la siguiente salida.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
  
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>