益普索 _ 注定不会重复

核心观点与关键数据

本文探讨了将客户体验（CX）文本分析的经验教训应用于生成式AI，特别是大型语言模型（LLMs）的关键见解。文章强调，尽管生成式AI发展迅速，但从前人的经验中学习有助于组织更有效地利用这些新工具。

1. 需求透明度

• 明确界定业务和研究目标对于部署LLMs至关重要。
• 保持人类参与（人在回路）可以提高模型质量，减少“幻觉”风险。
• 需要了解模型的功能、训练数据性质和数量，以及输出限制。

2. 不要忘记数据

• 数据的质量和代表性直接影响分析结果。
• 用于训练LLM的数据偏见可能导致不准确甚至误导的结果。
• 语言因素也需要考虑，不同语言模型的性能差异显著。

3. 正式评估仍然很重要

• 需要系统地评估LLMs在特定用例中的质量。
• 评估应超越简单的百分比准确率，系统地理解整体质量。
• 不同LLMs和提供商的表现存在显著差异，需要针对性测试。

4. 记住管理预期

• 早期文本分析未能兑现高精度承诺，需要谨慎管理期望。
• LLMs的答案基于概率，可能存在准确性问题。
• 需要平衡准确性和覆盖范围，避免过度依赖LLMs的输出。

5. 建立满足业务需求的报告/使用机制

• LLMs需要与适当的用户界面和功能结合使用。
• 报告和使用机制应满足具体业务需求，如实时交互、数据汇总等。
• 最终用户应能够质疑和验证LLMs的输出。

研究结论

生成式AI，特别是LLMs，是传统文本分析的强大扩展，但需要公平对待并从过去的经验中学习。通过明确目标、关注数据质量、进行正式评估和管理期望，组织可以最大限度地利用LLMs的优势，提升客户体验。未来，LLMs有望成为日常工具，帮助人类在复杂环境中进行更有效的决策和互动。