数据的批处理和流处理

  • Post author:
  • Post category:其他




1.批处理
  • 新到达的数据元素被收集到一个组中。整个组在未来的时间进行处理,批量处理一定时间段,一定数量或者一定大小的数据组。
  • 历史上,绝大多数数据处理技术都是为批处理而设计的。传统的数据仓库和Hadoop是专注于批处理的系统的两个常见示例。
  • 批处理有延迟性


2.流处理
  • 在流处理中,每一条新数据都会在到达时进行处理。与批处理不同,在下一批处理间隔之前不会等待,每一条数据将作为单独的碎片进行处理,数据到达时就要立即对其进行响应
  • 有越来越多的系统设计用于流处理,包括Apache Storm和Apache Heron。 这些系统经常部署以支持近乎实时的事件处理。
  • 实时性



版权声明:本文为qq_40125653原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。