Flink 详解（二）：水位线 Watermark 与乱序、迟到数据处理 Flink
阅读 1 评论 0 点赞 0

Flink 详解（二）：水位线 Watermark 与乱序、迟到数据处理

Flink 的水位线机制基于事件时间驱动窗口计算，解决分布式系统时间偏差导致的统计不准确。对于有序数据（事件时间单调递增），使用单调时间戳策略；无序数据则通过 `forBoundedOutOfOrderness` 设置最大乱序延迟，容忍部分迟到数据。用户可自定义周期型或定点型水位线生成策略，满足特定业务触发条件。迟到数据通过两层兜底：`allowedLateness` 允许窗口结束后二次计算，`sideOutputLateData` 将完全迟到的数据放入侧输出流单独处理。合理搭配乱序延迟、允许迟到时间和侧输出流，可平衡数据完整性与计算延迟，灵活应对实时场景中的时间相关挑战。

#Flink#Watermark#水位线#流处理
Flink 详解（一）：分区算子、Process Function 与窗口机制 Flink
阅读 1 评论 0 点赞 0

Flink 详解（一）：分区算子、Process Function 与窗口机制

本文系统梳理Flink三大核心机制：分区算子通过keyBy等策略实现数据重分配，keyBy按key哈希分区是有状态计算和窗口聚合的前提；Process Function作为最底层原语，支持直接访问时间戳、状态、定时器及侧输出流，可灵活分流迟到或异常数据；窗口机制将无界流切为时间/计数桶，提供滚动、滑动、会话窗口及增量聚合（ReduceFunction/AggregateFunction）与全窗口（ProcessWindowFunction）函数，结合Trigger和Evictor可定制触发时机与数据清理。掌握这些内容能应对数据倾斜、乱序处理、复杂聚合等场景，构建高效流处理应用。

#Flink#流处理#窗口#大数据