Flink开源的分布式,高可用,高性能的框架和分布式处理引擎,支持流数据处理和批处理

二、为什么要使用Flink(特点)

高可用

批处理和流处理

高吞吐和低延迟

结果的准确性和良好的容错性

能够快速真实反映出生活

总的来说就是能够适应当下的发展

三、Flink中的重要角色

jobmanager:用于协调分布式执行,负责资源申请,任务分发,任务调度执行等

taskmanager:负责执行任务

 四、Flink的三种模式

Local本地模式:少用

Standalone独立模式:资源管理由flink集群管理

Flink on Yarn:企业使用最多,资源管理由Yarn来管理

五、安装本地模式

1.下载

官网下载

提供的网盘下载

提取码: qcqf

2.上传至linux系统并解压

 解压Flink到当前目录

查看进程

 web端访问:

六、测试-使用Flink内置jar程序统计一个文件中每个单词出现的次数

计算:

输出路径应不存在,否则会报错

如果出现错误The main method caused an error: java.util.concurrent.ExecutionException: java.lang.RuntimeException: org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster,就重新启动Flink

 

 

 

 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐