首页
AI / 大模型
  • 智能体 Agent
  • 大模型工程
  • 模型原理
  • AI 应用
  • 检索增强 RAG
大数据
  • Flink
  • Kafka
  • ClickHouse
  • Hive
  • ZooKeeper
  • Hadoop
运维部署
  • 网站部署
  • 后端与工程
项目管理 关于本站
峰的个人知识库 菜单
  1. 首页
  2. AI / 大模型
    1. 智能体 Agent
    2. 大模型工程
    3. 模型原理
    4. AI 应用
    5. 检索增强 RAG
  3. 大数据
    1. Flink
    2. Kafka
    3. ClickHouse
    4. Hive
    5. ZooKeeper
    6. Hadoop
  4. 运维部署
    1. 网站部署
    2. 后端与工程
  5. 项目管理
  6. 关于本站
快捷操作
登录

Flink 详解(二):水位线 Watermark 与乱序、迟到数据处理
Flink 2025.09.07
阅读 1 评论 0 点赞 0

Flink 详解(二):水位线 Watermark 与乱序、迟到数据处理

Flink 的水位线机制基于事件时间驱动窗口计算,解决分布式系统时间偏差导致的统计不准确。对于有序数据(事件时间单调递增),使用单调时间戳策略;无序数据则通过 `forBoundedOutOfOrderness` 设置最大乱序延迟,容忍部分迟到数据。用户可自定义周期型或定点型水位线生成策略,满足特定业务触发条件。迟到数据通过两层兜底:`allowedLateness` 允许窗口结束后二次计算,`sideOutputLateData` 将完全迟到的数据放入侧输出流单独处理。合理搭配乱序延迟、允许迟到时间和侧输出流,可平衡数据完整性与计算延迟,灵活应对实时场景中的时间相关挑战。

#Flink#Watermark#水位线#流处理
DATA · LLM · DEVOPS DATA · LLM · DEVOPS DATA · LLM · DEVOPS DATA · LLM · DEVOPS
F Archive

沉淀后端底层、大数据工程与大模型落地实践,结构化归档技术学习笔记。

导航

  • 首页
  • AI / 大模型
  • 大数据
  • 运维部署
  • 项目管理
  • 关于本站

© 2026 峰的个人知识库. 保留所有权利.

用 ♥ 与氢气构建

Built with Theme 氢·简 CMS Halo