如何在idea中写spark程序

news2025/7/15 19:12:41

在 IntelliJ IDEA 中编写 Spark 程序，可按以下步骤进行：

1. 创建新项目

打开 IntelliJ IDEA，选择File -> New -> Project。
在左侧面板选择Maven或者Gradle（这里以 Maven 为例），确保Project SDK选择合适的 JDK 版本。
点击Next，设置项目的GroupId、ArtifactId等信息，最后点击Finish完成项目创建。

2. 添加 Spark 依赖

打开项目中的pom.xml文件，添加 Spark 相关依赖。以下是一个使用 Spark 3.2.1 版本的示例：

xml

<dependencies>
    <!-- Spark Core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.2.1</version>
    </dependency>
    <!-- Spark SQL -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>3.2.1</version>
    </dependency>
</dependencies>

添加完依赖后，Maven 会自动下载所需的库文件。

3. 编写 Spark 程序

在src/main/java（如果是 Java 项目）或者src/main/scala（如果是 Scala 项目）目录下创建一个新的类文件，下面分别给出 Java 和 Scala 的示例代码。

Java 示例

java

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;

import java.util.Arrays;
import java.util.List;

public class SparkJavaExample {
    public static void main(String[] args) {
        // 创建SparkSession
        SparkSession spark = SparkSession.builder()
               .appName("SparkJavaExample")
               .master("local[*]")
               .getOrCreate();

        // 创建JavaSparkContext
        JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());

        // 创建一个包含整数的列表
        List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
        // 创建RDD
        JavaRDD<Integer> rdd = sc.parallelize(data);

        // 计算RDD中所有元素的总和
        int sum = rdd.reduce(Integer::sum);

        System.out.println("Sum: " + sum);

        // 停止SparkContext和SparkSession
        sc.stop();
        spark.stop();
    }
}

Scala 示例

scala

import org.apache.spark.sql.SparkSession

object SparkScalaExample {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("SparkScalaExample")
      .master("local[*]")
      .getOrCreate()

    // 创建一个包含整数的列表
    val data = List(1, 2, 3, 4, 5)
    // 创建RDD
    val rdd = spark.sparkContext.parallelize(data)

    // 计算RDD中所有元素的总和
    val sum = rdd.reduce(_ + _)

    println(s"Sum: $sum")

    // 停止SparkSession
    spark.stop()
  }
}