研报正文总结
从AIGC到AIGA
AIGC在游戏中的应用
AIGC（AI Generated Content）技术在游戏中应用广泛，包括原画、服装、人脸、表情、三维模型、对话、关卡、剧情、道具、数值和武器生成等。
AIGA的提出
AIGA（AI Generated Game AI）关注游戏AI Bot的拟人化和风格化，旨在提升玩家游戏体验和心流。
拟人化AI、风格化AI研究进展
研究价值和现状
拟人化AI让游戏中的AI Bot具有玩家行为特征，去机器人化；风格化AI生成行为风格丰富多样的游戏AI Bot。这两者极大影响玩家体验，但尚未形成成熟方法论，调Reward过程耗时耗力。
研究内容
研究内容包括效果评估、量化评价标准、实用自动化技术方案以及业务效果提升。
拟人化指标
结合主客观特性，设计了五类评判指标，并通过雷达图可视化展示不同算法（如Behavior Cloning BC和Reinforcement Learning RL）的差异。
拟人化技术方案
- 方案动机：BC保证行为一致性，RL提升强度，联合优化兼顾拟人性和强度（公式：R + B）。
- 方案实现：BC+RL联合优化，通过自动化参数优化和基于规则调整权重，确保训练过程中胜率不被BC拖累。
- 效果展示：通过多个实验案例展示拟人化效果，但主观感受与客观指标存在差异。
多风格化
- 行为风格评估：量化评估Bot行为风格的变量，如移动次数等。
- 技术方案：
- 预训练：RL保证强度和多样性。
- 风格认定：确认目标风格和指标标准。
- 风格极化：self-imitation learning（SIL）极致化风格。
- 强度优化：SIL+RL保证强度。
- 案例：三分风格、两分风格、挡拆风格AI Bot。
RLHF微调游戏AI Bot模型
现有方案不足
- 客观指标无法完全反映拟人化/风格化程度。
- BC+RL宏观优化，人对于判定的纠错性需求未被满足。
RLHF方案
Reinforcement Learning from Human Feedback (RLHF)让模型从人的纠错或反馈中学习，更符合人类纠错（挑刺）的判定方式。
RLHF拟人化实验
- 案例：AIBot跟防距离优化。
- 方法：标注工具进行pair-wise比较，选择跟防更好的片段给予正向反馈。
- 效果：训练过程中Bot跟防距离变化显著。
游戏AI Bot通用生产pipeline
全流程闭环后，AI工程师可实现零介入或少介入，提升生产效率。
