Spark 的三种参数配置

本贴最后更新于 2517 天前,其中的信息可能已经时移俗易

一、spark-defults.conf

Example:
	spark.master                     spark://master:7077
	spark.eventLog.enabled           true
	spark.eventLog.dir               hdfs://namenode:8021/directory
	spark.serializer                 org.apache.spark.serializer.KryoSerializer
	spark.driver.memory              5g
	spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

二、spark submit

./bin/spark-submit 
--name "My app" 
--master local[4] 
--conf spark.shuffle.spill=false  
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

三、sparkconf

SparkConf conf =  new SparkConf()
        .setMaster("local[*]")
        .setAppName("sqlVsDsl")
        .set("spark.executor.memory", "1g");
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 561 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
rzx
此生最怕深情被辜负,最怕兄弟成陌路。对世界充满善意,同时又充满深深的恨意,我渴望天降甘霖福泽众生,又渴望灭世洪水重创世纪。 广州