Flink
本文系统梳理Flink三大核心机制：分区算子通过keyBy等策略实现数据重分配，keyBy按key哈希分区是有状态计算和窗口聚合的前提；Process Function作为最底层原语，支持直接访问时间戳、状态、定时器及侧输出流，可灵活分流迟到或异常数据；窗口机制将无界流切为时间/计数桶，提供滚动、滑动、会话窗口及增量聚合（ReduceFunction/AggregateFunction）与全窗口（ProcessWindowFunction）函数，结合Trigger和Evictor可定制触发时机与数据清理。掌握这些内容能应对数据倾斜、乱序处理、复杂聚合等场景，构建高效流处理应用。
ClickHouse
ClickHouse 是专为 OLAP 场景设计的列式存储数据库，通过列式存储减少 IO、提升压缩率，配合向量化执行和多核并行实现高性能。其 MergeTree 引擎家族是生产主力，通过分区、排序键和稀疏索引加速查询；ReplacingMergeTree 等变体支持去重、求和、折叠等特殊需求。数据类型涵盖整型、浮点、Decimal、字符串、时间等。索引包括一级稀疏索引和二级跳数索引，分区裁剪可跳过无关分区。副本（ReplicatedMergeTree + ZooKeeper）与分片（Distributed 引擎）实现高可用和横向扩展。注意局限：不支持事务、行级修改效率低，适合海量数据聚合分析而非高频 OLTP。
Hive
Hive是基于Hadoop的离线批处理工具，让分析师能用SQL处理PB级数据，与MySQL等OLTP数据库的本质区别在于：Hive不支持实时修改和索引，依赖全表扫描，适合“先存后算”的离线分析。其核心架构包括HiveServer2、Thrift Server、Driver（解析/编译/优化SQL）、MetaStore（元数据管理）及底层HDFS与YARN。表类型上，内部表删除时数据与元数据一并删除，外部表仅删元数据，生产环境推荐外部表。分区按维度切分数据避免全表扫描，分桶按Hash拆分提升Join与抽样效率。存储格式建议列式ORC或Parquet以提升查询性能，压缩可选择Snappy（快速）或Bzip2（高压缩率）。优化关键在于减少计算量：开启谓词下推、向量化查询、本地模式，并通过拆分倾斜Key解决数据倾斜。掌握这些可让非分布式专家高效处理海量数据。
Kafka
Kafka是分布式流处理核心组件，融合点对点与发布订阅模式，通过消费者组实现组内独占分区、组间独立消费。架构由Broker集群、Topic、Partition、Replica及Zookeeper组成，Partition拆分为Segment文件对（.log+.index），利用稀疏索引与二分查找实现百万级消息毫秒级检索。可靠性依赖ACK机制（0/1/-1）和ISR副本同步，HW与LEO水位线确保数据一致性和安全Leader选举。生产者通过PID+SeqNumber实现幂等性，事务保证跨分区原子性。消费者采用拉取模式，支持Range、RoundRobin、Sticky分区分配策略，Offset存储于内部Topic。与Flume组合形成采集-缓冲-计算链路，能有效解决消息丢失、重复消费和性能瓶颈。
