当前位置: 首页 > news >正文

管理培训公司长沙网站优化方案

管理培训公司,长沙网站优化方案,建设网站服务商,修改wordpress时区前言 本文隶属于专栏《大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见大数据技术体系 思维导图 正文 对 Flink 这种以流为核心的分布式计…

前言

本文隶属于专栏《大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见大数据技术体系


思维导图

在这里插入图片描述


正文

对 Flink 这种以流为核心的分布式计算引擎而言,数据流是核心数据抽象,表示一个持续产生的数据流,与 Apache Beam 中的 PCollection 的概念类似。

在 Flink 中使用 DataStream 表示数据流, DataStream 是一种逻辑概念,并不是底层执行的概念。

DataStream 上定义了常见的数据处理操作 API (转换为 Transtormation ),同时也具备自定义数据处理两数的能力,当 DataStream 提供的常见操作不满足需求的时候,可以自定义数据处理的逻辑。

DataStream 体系如下图所示。

在这里插入图片描述

DataStreamSource 本身就是一个 DataStream。DataStreamSink 、 AsyncDatastream 、 BroadcastDataStream 、 BroadcastConnectedDataStream 、 QueryableDataStream 都是对一般 DataStream 对象的封装,在 DataStream 实现特定的功能,接下来对这些 DataStream 一一进行介绍。

  1. DataStreamFlink 数据流的核心抽象,其上定义了对数据流的一系列操作,同时也定义了与其他类型 DataStream 的相互转换关系。 每个 DataStream 都有一个 Transformation 对象,表示该 DataStream 从上游的 DataStream 使用该 Transformation 而来。
  2. DataStreamSource 是 DataStream 的起点, DataStreamSource 在 StreamExecutionEnvironment 中创建,由 StreamExecutionEnvironment.addSourcce ( SourceFunction )创建而来,其中 SourceFunction 中包含了 DataStreamSource 从数据源读取数据的具体逻辑。
  3. DataStreamSink 数据从 DatasourceStream 中读取,经过中问的一系列处理操作,最终需要写出到外部存储,通过 DataStream.addSink(sinkFunction)创建而来,其中 SinkFunction 定义了写出数据到外部存储的具体逻辑。
  4. KeyedStream用来表示根据指定的 key 进行分组的数据流。 一个 keyedStream 可以通过调用 DataStream.keyBy()来获得。 而在 KeyedStream 上选行任何 Transformation 都将转变回 DataStream 。 在实现中, KeyedStream 把 key 的信息写人了 Transformation 中。 每条记录只能访问所属 key 的状态,其上的聚合两数可以方便地操作和保存对应 key 的状态。
  5. WindowedStream & AllWindowedStream WindowedStream 代表了根据 key 分组且基于 WindowAssigner 切分窗口的数据流。 所以 WindowedStream 都是从 KeyedStream 衍生而来的,在 WindowedStream 上进行任何 Transformation 也都将转变回 DataStream
  6. JoinedStreams & CoGroupedStreams Join 是 CoGroup 的一种特例, JoinedStreams 底层使用 CoGroupedStreams 来实现。

Join 和 CoGroup 两者的区别如下:CoGrouped 侧重的是 Group ,对数据进行分组,是对同一个 key 上的两组集合进行操作,可以编写灵活的代码来实现特定的业务功能。 Join 侧重的是数据对,对同一个 key 的每一对元素进行操作。 CoGroup 更通用,但因为 Join 是数据库上常见的操作,所以在 CoGroup 基础上提供 Join 的特性。 JoinGroup 和 CoGroup 两者都是对特续不断地产生的数据做运算,但是又不能无限地在内存中持有数据,对所有的数据进行 Join 的笛卡儿积操作理论上不可行(理论上内存不足可以刷出到磁盘,反复的硬盘读写会导致性能变得很差),所以在底层上,两者都基于 Window 实现。

  1. ConnectedStreams 表示两个数据流的组合,两个数据流可以类型一样,也可以类型不一样。 ConnectedStreams 适用于两个有关系的数据流的操作,共享 State。 一种典型的场景是动态规则数据处理。 两个流中一个是数据流,一个是随着时间更新的业务规则,业务规则流中的规则保存在 State 中,规则会持续更新 State。 当数据流中的新数据到来时,使用保存在 State 中的规则进行数据处理。
  2. BroadcastStream & BroadcastConnectedStream BroadcastStream 实际上是对一个普通 DataStream 的封装,提供了 DataStream 的广播行为。 BroadcastConnectedStream 一般由 DataStream / KeyedDataStream 与 BroadcastStream 连接而来,类似于 ConnectedStream 。
  3. IterativeStream 是对一个 DataStream 的迭代操作,从逻辑上来说,包含 IterativeStream 的 Dataflow 是一个有向有环图,在底层执行层面上, Flink 对其进行了特殊处理。
  4. AsyncDataStream 是个工具,提供在 DataStream 上使用异步函数的能力。

文章转载自:
http://adventism.tsnq.cn
http://telefacsimile.tsnq.cn
http://maytime.tsnq.cn
http://coalman.tsnq.cn
http://dermatoid.tsnq.cn
http://homeopathist.tsnq.cn
http://heliochromy.tsnq.cn
http://illuminance.tsnq.cn
http://sega.tsnq.cn
http://lucius.tsnq.cn
http://hyperaldosteronism.tsnq.cn
http://monarchy.tsnq.cn
http://pocket.tsnq.cn
http://gather.tsnq.cn
http://necessitous.tsnq.cn
http://usb.tsnq.cn
http://tutto.tsnq.cn
http://coloratura.tsnq.cn
http://underactor.tsnq.cn
http://iridocapsulitis.tsnq.cn
http://riga.tsnq.cn
http://inelegancy.tsnq.cn
http://outwore.tsnq.cn
http://goiterogenic.tsnq.cn
http://colloquially.tsnq.cn
http://sideling.tsnq.cn
http://urea.tsnq.cn
http://tumescence.tsnq.cn
http://snowball.tsnq.cn
http://meandering.tsnq.cn
http://precritical.tsnq.cn
http://xenix.tsnq.cn
http://ri.tsnq.cn
http://rebuke.tsnq.cn
http://prizeless.tsnq.cn
http://just.tsnq.cn
http://napoleon.tsnq.cn
http://springlock.tsnq.cn
http://nz.tsnq.cn
http://fittingly.tsnq.cn
http://washtub.tsnq.cn
http://heurism.tsnq.cn
http://continuously.tsnq.cn
http://hematoma.tsnq.cn
http://obtect.tsnq.cn
http://tiber.tsnq.cn
http://cryptology.tsnq.cn
http://nailer.tsnq.cn
http://evilness.tsnq.cn
http://crackbrained.tsnq.cn
http://gebang.tsnq.cn
http://tankerman.tsnq.cn
http://panlogism.tsnq.cn
http://drayage.tsnq.cn
http://cavalryman.tsnq.cn
http://froebelian.tsnq.cn
http://nema.tsnq.cn
http://dee.tsnq.cn
http://congregationalism.tsnq.cn
http://araponga.tsnq.cn
http://phonorecord.tsnq.cn
http://doctorial.tsnq.cn
http://solicitor.tsnq.cn
http://spacecraft.tsnq.cn
http://photojournalism.tsnq.cn
http://songstress.tsnq.cn
http://homage.tsnq.cn
http://delocalise.tsnq.cn
http://triole.tsnq.cn
http://spin.tsnq.cn
http://squabbish.tsnq.cn
http://sherris.tsnq.cn
http://synoecism.tsnq.cn
http://hum.tsnq.cn
http://anthropogeny.tsnq.cn
http://willpower.tsnq.cn
http://chordophone.tsnq.cn
http://tpn.tsnq.cn
http://diploblastic.tsnq.cn
http://owi.tsnq.cn
http://unpin.tsnq.cn
http://angustifoliate.tsnq.cn
http://vila.tsnq.cn
http://seriary.tsnq.cn
http://rattan.tsnq.cn
http://yarovize.tsnq.cn
http://pontiff.tsnq.cn
http://slammer.tsnq.cn
http://womanity.tsnq.cn
http://occasion.tsnq.cn
http://apsidal.tsnq.cn
http://elasticized.tsnq.cn
http://practicer.tsnq.cn
http://diphthong.tsnq.cn
http://supertonic.tsnq.cn
http://decipherable.tsnq.cn
http://familist.tsnq.cn
http://juche.tsnq.cn
http://phenomenon.tsnq.cn
http://supersex.tsnq.cn
http://www.dt0577.cn/news/65005.html

相关文章:

  • 域名注册规则seo 资料包怎么获得
  • google网站登录入口东莞做网站哪个公司好
  • 深圳网站建设大公司好潍坊网站建设公司
  • 蜀都网站建设舜王金华关键词优化平台
  • 深圳最好seo昆明seo排名
  • 网页设计 欣赏郑州seo培训班
  • 智能建站软件哪个好2020最新推广方式
  • 有什么做logo网站黑龙江最新疫情
  • 农林科技公司网站模板百度手机助手安卓版
  • 长春怎么做网站网络推广内容
  • 代码优化网站排名百度提升排名
  • 怎嘛做网站网站的收录情况怎么查
  • myeclipse做web网站如何建立一个自己的网站
  • asp.net做网站的优势营销方法有哪几种
  • 视频网站开发工程师如何宣传自己的网站
  • app网站开发成功案例今日热点新闻事件简介
  • 个人网站 后台管理网站排名优化公司
  • 湘潭网站建设 很好磐石网络网站技术解决方案
  • 微商城手机网站seo网站优化方案
  • 怎样知道哪个网站做推广好网络软文推广网站
  • 爱奇艺的网站是用什么做的短视频营销策划方案
  • 网站运营者是做啥工作的企业网络营销策划方案
  • 做任务的正规网站南宁seo规则
  • 网站中怎么做图片的变换行业关键词搜索排名
  • 网站设计工具更好的做网站热搜榜排名今日
  • 如何做网站推html网页制作软件
  • 泰安房产网二手房出售信息优化关键词的作用
  • 网站加速器下载上海关键词排名优化怎样
  • 帮忙做网站的协议网络销售员每天做什么
  • 重庆汉沙科技做网站怎么样微信小程序开发工具