大数据处理分为批式(历史数据)和流式(实时数据)两类。Hadoop体系虽生态庞大,但面对金融、物联网等高并发、低延迟场景,传统方案力不从心。以银联商务为例,日交易近亿笔,原T+1风控次日才发现风险,损失已造成。新系统需在100ms内返回结果,并支持长达十年的历史周期分析——这是典型的“完整数据集上的低延迟即席查询”难题。

批处理系统可查完整历史,但拿不到最新数据;流处理系统低延迟,却受限于内存,无法保留完整历史。两者融合,需攻克四大技术难点:复杂指标(如方差、K阶中心矩)的增量计算;分布式内存的细粒度调度;跨数秒到数十年的多尺度时间窗口漂移处理;以及内存集群的高可用与自平衡。

“流立方”平台在此取得突破。它支持计数、求和、标准差、唯一性判别等几十种统计模型,并实现复杂事件处理。性能测试中,8节点读取超100万TPS,平均延迟仅1~2毫秒。更解决两大工程难题:在线“所见即所得”的作业编排,将上线时间从一周缩至分钟级;创新引入“录制与重放”机制,新作业可快速重放指定历史窗口数据,不必等三个月。

在金融风控反欺诈中,“流立方”仅需在交易前端加装探头,旁路接入实时交易,融合数百条专家及机器学习规则,平均响应6毫秒以内,并发超5万笔/秒,仅需4台服务器。目前,国内50%以上线下交易在其保护下运行,每天抵御上亿次攻击。

此外,在互联网机器防御中,它通过全流量旁路分析,实现微秒级机器人识别,准确率99.9%,帮客户拦截80%~90%的机器人流量;在智慧交通中,实时分析车流,动态调控红绿灯和潮汐车道,提升通行效率。

数据价值随产生时间指数衰减,“热数据”需“趁热吃”。“流立方”正为金融、交通、公安等行业的“事中”智能决策,提供坚实底座。

国际数据治理协会(IDGA)

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐