Spark与Elasticsearch在Ubuntu

在Ubuntu上安装和配置Spark与Elasticsearch涉及几个步骤。以下是一些关键步骤的概述：

安装Java

Spark需要Java环境，因此首先需要安装Java。可以通过以下命令来安装OpenJDK 11：

sudo apt update
sudo apt install openjdk-11-jdk

下载并解压Spark

接下来，从Spark官网下载适合Ubuntu的Spark版本，并解压到指定目录。例如，解压到/opt/spark目录：

wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
tar xzf spark-3.2.0-bin-hadoop3.2.tgz
sudo mv spark-3.2.0-bin-hadoop3.2 /opt/spark

配置Spark环境变量

为了方便使用Spark，需要配置环境变量。编辑~/.bashrc文件，添加以下内容：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

然后运行source ~/.bashrc使配置生效。

启动Spark Shell

现在可以启动Spark Shell了：

spark-shell

安装Elasticsearch

可以通过官方文档提供的命令来下载并安装Elasticsearch。请注意，这里使用的是Elasticsearch 7.x版本，因为与某些Spark组件的兼容性更好。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.1-linux-x86_64.tar.gz
sudo mv elasticsearch-7.10.1 /opt/elasticsearch

配置Elasticsearch环境变量

同样地，编辑~/.bashrc文件，添加以下内容：

export ELASTICSEARCH_HOME=/opt/elasticsearch
export PATH=$PATH:$ELASTICSEARCH_HOME/bin

然后运行source ~/.bashrc使配置生效。

启动Elasticsearch

现在可以启动Elasticsearch了：

/opt/elasticsearch/bin/elasticsearch

至此，已经在Ubuntu上成功安装了Spark和Elasticsearch，并进行了基本的环境配置。接下来可以根据具体需求进行进一步的设置和使用。