环路检测算法在风控领域中的几种优化方向

背景与挑战

• 环路检测算法通过分析交易和资金流动网络，识别潜在环路结构以检测异常模式和欺诈行为。
• 主要挑战包括：数以亿计点边的大型图网络下的算法效率问题，以及有限硬件资源下的算法调整需求。

算法优化

• 大型图网络下算法效率优化：
  • 采用分布式图计算框架 libgrape-lite，将大规模图数据切割为子图，通过并行计算和消息传递实现高效环路检测。
  • ArcNeural 多模态智能引擎基于该框架支持50+算法，涵盖路径分析、中心性分析、社区发现等场景。
  • 图计算服务器配置：4台32核CPU、256G内存、500G SSD、万兆网络；测试数据集：LDBC Graphalytics - datagen-9_2-zf，点4.3亿，边10.4亿。
  • 剪枝策略：通过标记和去除出/入度为0的点，复杂度优化至 O(V+E)。
• 多重图的支持与优化：
  • 金融交易图中两点间同种类型边可能存在多条（多重图），环路数量指数级增加，遍历效率受影响。
  • 解决思路：①去除平行边（缺点：无法根据边属性做环过滤）；②多条边只遍历一次，输出时展开。
• 有限硬件资源下的算法调整：
  • 内存资源消耗问题：算法中间状态（当前遍历信息、结果等）和消息缓存。
  • 采用 PIE（Pregel升级）、PEval（单机图算法）、IncEval（单机增量算法）：
    • 环路检测算法：运行 PEval 判断节点是否成环，IncEval 继续遍历，迭代至无消息。
  • 单机算法：
    • BFS：队列结构存储遍历路径，内存消耗大。
    • DFS：递归遍历邻接点，消息缓存内存需求高。
    • 分布式DFS：并行度低但内存消耗小，速度慢。
• 复杂度分析与实验结果：
  • 无剪枝策略：O(V*(V+E+R))；剪枝策略：O(V+E+V*R)。

应用案例

• 环路场景：
  • 交易闭环：指定起点，沿环路方向交易时间递增，50w点2000w边上发现30w+交易环路，涉及6000点。
  • 转账回路：给定时间区间，环路上起始边转账时间满足区间，20w点400w边上发现3跳以上环路10w+，涉及5000点。
• 风险评分：结合环路交易次数、金额、长度等输出风险评分，为审核和机器模型提供特征参考。

总结与展望

• 总结：介绍了环路检测算法在风控场景的探索，提供了算法效率优化和硬件资源限制下的算法方案，为工程化落地提供支持。
• 展望：
  • 环路检测与上下游链路融合仍需努力。
  • 优化分布式算法开发链路，利用新型AI工具。
  • 图切分策略的优化升级。
• 公司介绍：
  • Fabarta是AI基础设施公司，提供多模态智能引擎 ArcNeural，支持结构化与非结构化数据融合存储和分析。
  • 提供 Fabarta®企业智能分析平台 和 Fabarta®多模态数据编织平台，加速图智能落地。
  • 构建基于数据编织技术的下一代数据价值生态，以 Data-Centric AI 核心构建AI时代的数据基础设施。