网站seo插件,ios注册开发者账号,网址导航网站一键建设,网站开发公司建网站1、Apache Flink集群的核心架构#xff1a; 1、client#xff08;作业客户端#xff09;#xff1a;提交任务的地方叫做客户端 2、JobManager#xff08;作业管理器#xff09;#xff1a;作用是用于管理集群中任务 3、TaskManager#xff08;任务管理器#xff09; 1、client作业客户端提交任务的地方叫做客户端 2、JobManager作业管理器作用是用于管理集群中任务 3、TaskManager任务管理器负责执行Task的任务
2、Apache Flink的架构 1、JobManager 1、主要的作用是负责任务的调度资源的分配以及将Task任务发送到TaskManager上去执行会收集TaskManager的Heartbeat和统计信息 2、Scheduler负责的是资源的调度 3、Checkpoint Coordinator因为Flink中会做checkpoint所以Checkpoint Coordinator的主要的工作就是负责定期做checkpoint。 2、TaskManager 1、Task Solt任务槽slot是flink中从资源层面进行调度的单位是用来执行Task任务的。 2、Memory I/O Manager 是用于管理内存数据 3、Network Manager负责管理网络连接的。在flink中多个TaskManager之间也是有连接的数据会以Data Streams的形式数据流形式将Flink中的上游的数据传输到下游。 4、Actor System负责远程调用的是负责与JobManager之间进行通信的一个接口工具flink中不同的角色之间都是通过Actor来通信程序拿到Client之后会通过Akka客户端来通信 Flink的主要的调度的流程 1、首先在client端编写一段Program Code然后在本地client端构建出来一个Daraflow graph图客户端就会将构建好的Daraflow graph数据流图图以dataflow的形式提交到JobManager上面 2、此时JobManager端接收到客户端传输过来的Daraflow graph图然会就会根据有没有shuffle将图进行切分转化成一个一个的Task 3、JobManager会不断接收TaskManager的心跳消息从而可以获取到有效的TaskManager 4、然后将切分好的Task分发到TaskManager上面去执行。
