内部运行机制 使命分配、IO模块、通讯操控模块、容错模块、Shuffle模块。选用的算法：FIFO、FIAR算法，通讯选用AKKA结构 1、spark履行机制： spark使用提交后阅历了一系列转化最终成为Task在每个节点上履行。 大体的履行流程：RDD的Actions操作除非Job的提交，提交到spark中的job生成RDD DAG，由DAG Scheduler转化为stage中的task调集
使命分配、IO模块、通讯操控模块、容错模块、Shuffle模块。选用的算法：FIFO、FIAR算法，通讯选用AKKA结构
Application：用户自定义的使用程序，履行后，spark为其分配资源，将程序转化而且履行。
RDD graph: 中心过程。当碰到Action算子时，将前面一切的算子构成DAG图，转化为Job后提交到集群履行。
Stage：每个Job依据Rdd的宽依靠联系被切分红多个Stage。每个Stage中包括一组相同的Task
）使用提交与履行方法两种方法：1、Drive运行在客户端，办理监控使用的状况。2、主节点指定某个Worker节点发动Driver，担任整个使用的监控。
第二种方法：必定要经过org.apache.spark.deploy.Client类履行使用：流程：1用户发动客户端，客户端提交使用程序给Master。2Master调度使用，针对每个使用分发给指定的一个Worker发动Driver。3ExecutorBackend发动后，向Driver的SchedulerBackend注册，这样Driver获取了核算资源就可以调度和将使命分发到核算节点履行。
、Spark调度与使命分配模块调度等级：Application调度、Job的调度、Stage的调度、Task的调度
、容错机制一般来说，分布式的容错性有两种方法：数据检查点和记载数据的更新。数据检查点操作本钱很高，Spark采纳记载数据更新的方法。
、Shuffle机制实质是洗牌、混洗，即把一组有必定规矩的数据打散从头组合成一组无规矩随机数据分区。
