AIGC与因果推断的双向赋能

核心观点与内容总结

1. 生成式AI（AIGC）与合成数据的重要性

• AIGC定义：人工智能生成内容，如文本续写、文字转图像、AI主持人等。
• 合成数据应用：填补数据空白、降低采集成本、满足隐私要求。
• Gartner趋势：预计到2030年，合成数据将完全取代真实数据在AI和机器学习模型中的应用。
• 数据挑战：获取高质量（干净、标注好、无偏）数据的难度，合成数据可应对此挑战。

2. 数据隐私与数据增强

• 数据隐私场景：金融、医疗等需要匿名或保护隐私的数据使用。
• 数据增强场景：制造业图像样本增强等。
• 合成数据优势：保护敏感信息同时保留原始数据统计属性。

3. 数据驱动与过程驱动生成方法

• 数据驱动方法：GANs、VAEs、贝叶斯网络、机器学习等。
• 过程驱动方法：基于代理的建模（ABM）、离散事件仿真、蒙特卡洛仿真等。
• ABM定义：模拟具有自主意识的智能体的行动和相互作用，分析宏观涌现的微观原因。

4. ABM在复杂系统中的应用

• 复杂系统特征：涌现属性、多尺度依赖性、难以预测和控制。
• ABM优势：详细描述系统、强可解释性、鲁棒性。
• 应用案例：银行外呼运营团队通过ABM分析运营管理薄弱环节，提出改进建议。

5. 因果推断与反事实问题

• 因果推断任务：因果发现、因果量识别、因果效应估计、反事实推断、策略学习。
• 反事实问题：干预后仅观测到实施状态结果，未干预状态结果无法观测。
• 评价指标：
  • 随机化实验：因果推断黄金标准，但无反事实样本时受限。
  • AUUC：序指标，用于无反事实样本的离线评价。
  • MSE：反事实样本下常用评价指标，验证算法有效性。

6. ABM结合因果发现与机器学习

• 方法融合：因果发现、机器学习、敏感性分析结合，丰富涌现行为解释。
• 交叉验证：不同方法结果互补，提高分析可靠性。
• 校准加速：
  • 校准步骤：运行模型、测量校准质量、定位参数。
  • 进化与过滤：基于因果效应估计生成参数组合，用反事实推理过滤，提高效率。

7. ABM在银行系统中的应用

• 优势：成本可控、预置因果关系、完整特征。
• 数据基础：提供完备数据支持因果效应估计、因果发现等算法。
• 宏观涌现分析：通过多智能体模型分析系统性问题，如金融机构技术挑战。

8. 合成数据与高级机器学习

• 应用场景：填补历史数据缺失、解决类别不均衡问题、应对内部数据使用限制。
• 训练高级模型：合成数据用于模型训练，本地部署真实数据工作。
• 数据共享研究：通过合成数据共享解决金融机构技术问题，满足数据隐私要求。