Kafka Streams 和 Apache Flink 的无状态流处理与有状态流处理

Kafka Streams 和 Apache Flink 与数据库和数据湖相比的无状态和有状态流处理的概念和优势。

在数据驱动的应用中，流处理的兴起改变了我们处理和操作数据的方式。虽然传统数据库、数据湖和数据仓库对于许多基于批处理的用例来说非常有效，但在要求低延迟、可扩展性和实时决策的场景中，它们显得力不从心。

本文以Kafka Streams和Apache Flink为例，探讨无状态和有状态流处理的关键概念。这些原则适用于任何流处理引擎，无论是开源引擎还是云服务引擎。

让我们分析一下与传统静态数据方法相比的差异、实际用例、与 AI/ML 的关系以及巨大的价值流处理。

1.从静态到动态：重新思考数据处理

在传统系统中，数据通常先存储在数据库或数据湖中，然后再进行查询计算。这种方法非常适合批量处理任务，例如生成报告或仪表板。该流程通常如下所示：

存储数据：数据到达并存储在数据库或数据湖中。
查询和计算：应用程序稍后使用 Web 服务、请求-响应 API 或 SQL 脚本请求数据以供分析或处理。

但是，当需要以下情况时，这种方法就会失败：

立即采取行动：实时响应事件，例如欺诈检测。
可扩展性：每秒处理数千或数百万个事件。
持续洞察：持续分析动态数据。

进入流处理：一种数据在流经系统时被持续处理的范例。无需等待先存储数据，像Kafka Streams和Apache Flink这样的流处理引擎使业务能够在数据到达时立即采取行动。

2.案例：实时预防欺诈

这篇文章以一个反欺诈场景来说明流处理的强大功能。在这个例子中，来自各种来源（例如信用卡支付、移动应用购买）的交易都被实时监控。

系统使用三种方法标记可疑活动：

无状态处理：每笔交易都独立评估，并立即标记高价值付款。
状态处理：在时间窗口内（例如 1 小时）分析交易以检测模式，例如异常高的交易数量。
人工智能集成：通过预测欺诈活动的可能性，使用预先训练的机器学习模型进行实时欺诈检测。

这个例子强调了流处理如何实现即时、可扩展和智能的欺诈检测，这是传统批处理无法实现的。

为了避免混淆：虽然我在示例中使用 Kafka Streams 进行无状态处理，使用 Apache Flink 进行有状态处理，但这两个框架都能够处理这两种类型的处理。

2.1 流处理的其他行业示例

预测性维护（工业物联网）：持续监控传感器数据以预测设备故障并安排主动维护。
实时广告（零售）：根据实时用户互动和行为模式投放个性化广告。
实时投资组合监控（金融）：持续分析市场数据和投资组合表现，以在市场波动期间触发即时警报或自动交易。
供应链优化（物流）：实时跟踪货物以优化路线、减少延误并提高效率。
状况监测（医疗保健）：持续分析患者生命体征以检测异常并触发即时警报。
网络监控（电信）：实时检测中断或性能问题，以提高服务可靠性。

这些示例突出了流处理如何推动不同行业的实时洞察和行动。

3.什么是无状态流处理？

无状态流处理专注于独立处理每个事件。在这种方法中，系统无需维护任何先前事件的上下文或记忆。每个传入事件都是独立处理的，这意味着所应用的逻辑仅取决于该特定事件中的数据。

这使得无状态处理高效且易于扩展，因为它不需要状态管理或事件之间的协调。它非常适合诸如过滤、转换和简单的 ETL 操作等用例，在这些用例中，无需历史数据或上下文即可处理单个事件。

3.1 示例：实时支付监控

设想一个实时监控交易的反欺诈系统，用于检测和阻止可疑活动。每笔交易，无论是通过信用卡、移动应用程序还是支付网关，都会在发生时进行评估。该系统会检查是否存在异常情况，例如金额异常高、来自陌生地点的交易或快速的购买序列。

通过即时分析这些属性，系统可以标记高风险交易以供进一步检查或自动阻止。这种实时评估可确保立即发现潜在欺诈行为，从而降低财务损失的可能性并增强整体安全性。

用标记高额付款以便进一步检查。以下是 Kafka Streams 示例：

每笔交易在到达时都会进行评估。
如果交易金额超过 100（以您选择的货币计算），则会将其发送到单独的主题以供进一步审核。

Java 示例（Kafka Streams）：

KStream<String, Payment> payments = builder.stream("payments");

payments.filter((key, payment) -> payment.getAmount() > 100)
.to("high-risk-payments");

3.2 无状态处理的好处

低延迟：立即处理单个事件。
简单：无需追踪或管理过去的事件。
可扩展性：有效处理大量数据。

这种方法非常适合过滤、数据丰富和简单 ETL 任务等用例。

4.什么是状态流处理？

状态流处理更进一步，将多个事件同时考虑。系统跨事件维护状态，从而支持聚合、连接和窗口分析等复杂操作。这意味着系统可以关联指定时间段内的数据，跟踪模式，并检测跨多个事务或数据点出现的异常。

4.1 示例：通过连续模式检测预防欺诈

在预防欺诈方面，单个交易可能看起来很正常，但随着时间的推移，模式可能会揭示可疑行为。

例如，欺诈预防系统可以通过分析一小时内特定信用卡的所有交易来识别可疑行为，而不是单独评估每笔交易。

让我们通过使用 Flink SQL 分析 Apache Flink 的事务来检测异常。在此示例中：

该系统会在 1 小时内监控每张信用卡的交易。
如果一张卡在一小时内被使用超过10次，则表明存在潜在的欺诈行为。

SQL 示例（Apache Flink）：

SELECT card_number, COUNT(*) AS transaction_count
FROM payments
GROUP BY TUMBLE(transaction_time, INTERVAL '1' HOUR), card_number
HAVING transaction_count > 10;

4.2 状态处理中的关键概念

状态处理依赖于维护跨多个事件的上下文，从而使系统能够执行更复杂的分析。以下是使状态流处理成为可能的关键概念：

窗口：定义一个时间范围来对事件进行分组（例如，滑动窗口、滚动窗口）。
状态管理：系统记住定义窗口内的过去事件。
连接：合并来自多个来源的数据以进行丰富的分析。

4.3 状态处理的好处

状态处理对于异常检测、实时监控和预测分析等高级用例至关重要：

复杂分析：检测随时间变化的模式。
事件关联：组合来自不同来源的事件。
实时决策：持续监控，无需重新处理数据。

5.将人工智能和机器学习引入流处理

Kafka Streams 和 Apache Flink 等流处理引擎也支持实时 AI 和机器学习模型推理。这允许您将预先训练的模型直接集成到数据处理管道中。

5.1 示例：使用 AI/ML 模型进行实时欺诈检测

设想一个使用 TensorFlow模型进行实时推理的支付欺诈检测系统。在这个系统中，来自信用卡、移动应用和支付网关等各种来源的交易会被持续传输。每笔传入的交易都会经过预处理并发送到 TensorFlow 模型，该模型会根据训练过程中学习到的模式对其进行评估。

该模型分析交易金额、地点、设备ID和频率等特征，以预测欺诈的可能性。如果模型识别出较高的欺诈概率，系统可以立即触发操作，例如标记交易、阻止交易或向安全团队发出警报。这种实时推理可确保立即检测并处理潜在的欺诈行为，从而降低风险并增强安全性。

以下是使用 Apache Flink 的 Python API 进行预测 AI 的代码示例：

Python 示例（Apache Flink）：

def predict_fraud(payment):
prediction = model.predict(payment.features)
return prediction > 0.5

stream = payments.map(predict_fraud)

5.2 为什么要将人工智能与流处理结合起来？

将 AI 与流处理相结合，可以释放强大的实时决策能力，使企业能够在数据流经系统时立即做出响应。以下是将 AI 与流处理相结合的一些主要优势：

实时预测：立即检测和预防欺诈。
自动化决策：将人工智能融入关键业务流程。
可扩展性：每秒处理数百万个预测。

Apache Kafka 和 Flink 提供低延迟、可扩展且稳健的预测。我的文章《使用 Apache Kafka 和 Flink 实现预测性 AI 和 GenAI 的实时模型推理》比较了远程推理（通过 API）和嵌入式推理（在流处理应用程序中）。

对于大型 AI 模型（例如生成式 AI 或大型语言模型），推理通常通过远程调用进行，以避免在流处理器中嵌入大型模型。

6.无状态与有状态流处理：何时使用

在无状态和有状态流处理之间进行选择，取决于用例的复杂性以及是否需要跨多个事件维护上下文。下表概述了主要区别，以帮助确定最符合特定需求的方法。

特征	无状态	有状态的
用例	简单过滤，ETL	聚合、连接
延迟	极低延迟	由于状态管理导致延迟略高
复杂度	简单逻辑	涉及多个事件的复杂逻辑
状态管理	不要求	需要感知
可扩展性	高的	取决于框架