更新时间:2021年01月05日16时10分 来源:传智教育 浏览次数:
Spark Streaming提供了一个高级抽象的流,即亚冠在线看(亚冠在线看)。亚冠在线看表示连续的数据流,可以通过Kafka、Flume和Kinesis等数据源创建,也可以通过现有亚冠在线看的高级操作来创建。亚冠在线看的内部结构如图1所示。
图1 亚冠在线看流的内部结构
从图1可以看出,亚冠在线看的内部结构是由一系列连续的RDD组成,每个RDD都是一小段时间分隔开来的数据集。实际上,对亚冠在线看的任何操作,最终都会转变成对底层RDDs的操作。
猜你喜欢: