Comment installer Scala et Apache Spark sur MacOS

Comment installer Scala et Apache Spark sur MacOS

Voici un guide étape par étape pour installer Scala et Apache Spark sur MacOS.

Étape 1: Obtenez Homebrew

Homebrew vous simplifie la vie lorsqu'il s'agit d'installer des applications et des langues sur un Mac OS. Vous pouvez obtenir Homebrew en suivant les instructions sur son site Web.

Ce qui vous dit simplement d'ouvrir votre terminal et de taper:

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Il y a des instructions plus détaillées sur l'installation sur la page GitHub du projet. Tout installer via Homebrew devrait automatiquement ajouter tous les paramètres PATH appropriés à votre profil.

Étape 2: Installation de xcode-select

Pour installer Java, Scala et Spark via la ligne de commande, nous devrons probablement installer les outils de développement xcode-select et de ligne de commande. Accédez à votre terminal et tapez:

xcode-select --install

Vous obtiendrez une invite qui ressemble à ceci:

Allez-y et sélectionnez installer.

Étape 3: Utilisez Homebrew pour installer Java

Scala dépend de Java, vous pouvez ou non avoir besoin de l'installer. Le moyen le plus simple de l'installer est d'utiliser simplement HomeBrew:

Dans votre type de terminal:

brew cask install java

Vous devrez peut-être entrer votre mot de passe à un moment donné pour terminer l'installation de java. Après avoir exécuté ce Homebrew devrait avoir pris en charge l'installation de Java. Nous pouvons maintenant passer à Scala.

Étape 4: Utilisez Homebrew pour installer Scala

Maintenant, avec Homebrew installé, accédez à votre terminal et tapez:

brew install scala

Étape 5: Utilisez Homebrew pour installer Apache Spark

Maintenant, avec Scala installé, accédez à votre terminal et tapez:

brew install apache-spark

Homebrew va maintenant télécharger et installer Apache Spark, cela peut prendre un certain temps en fonction de votre connexion Internet.

Étape 5: Démarrez Spark Shell

Maintenant, essayez cette commande:

spark-shell

Vous devriez voir un flot de texte et d'avertissements, mais finalement voir quelque chose comme ceci:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>

Vous pouvez confirmer qu'il fonctionne en tapant le code scala:

val s = "hello world"

Toutes nos félicitations! Vous êtes tous prêts!

Problème courant: définition de PATH dans bash.

Homebrew aurait dû s'occuper de tout cela, mais au cas où vous auriez besoin d'ajouter une étincelle à votre PATH, vous voudrez utiliser:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Tapez simplement cela directement dans votre terminal.

Je m'appelle Jose Portilla et j'enseigne à plus de 200 000 étudiants la programmation, la science des données et l'apprentissage automatique sur Udemy. Vous pouvez consulter tous mes cours ici.

Si vous souhaitez apprendre Python pour la science des données et l'apprentissage automatique, consultez mon cours ici. (J'enseigne également le développement Web Full Stack avec Django!)