协调数据：验证和管理的艺术

协调数据：验证和管理之道 刘恩金阿鲁什·米塔尔 引言 数据对保险公司和再保险公司具有重要意义，因为它用于各种目的，例如监管和财务报告，作为公共披露的基础，以及作为战略决策（包括投资组合收购、推出新渠道、定价新产品等）的输入，等等。 因此，公司在使用数据之前确保其准确性、一致性和可靠性至关重要。这对于降低保险公司风险敞口也很重要，尤其是操作风险，这种风险可能源于数据质量不佳或数据验证和管理系统不足。 随着国际财务报告准则第17号（IFRS17）的近期实施，企业需要更精细粒度的数据，这需要强有力的数据控制以确保高质量结果。由于企业将旨在跨多个报告基础使用相同数据，并将需要确保其一致性，因此数据验证的需求进一步增强。任何不一致可能源于不同团队和系统使用不同粒度的数据，或数据提取日期的差异等。此外，随着人工智能（AI）和机器学习的使用增加 ，以及R/Python、PowerQuery等新工具和语言在保险行业的应用，企业现在可能会考虑使用这些技术来增强数据验证检查和质量控制。 一份最近的简报1，由爱尔兰中央银行（CBI）于2023年9月发布，强调了多家保险公司已识别出在准备金方面存在的运营错误，这些错误是由手动流程中的控制薄弱（这可能由于数据问题而需要）所驱动。CBI详细说明，如变更分析等高级检查不足以揭示这些错误，只有更深入的业务验证才导致了问题的识别。CBI进一步强调了为资产和负债估值目的而拥有有效系统、控制和文档的重要性。此外，同一期简报还呼吁在非寿险准备金的背景下对外部数据进行验证。 我们早期的简报《构建有效的模型风险管理验证框架》2提供模型验证框架的全面概述，包括输入、计算和结果输出验证。 本简报深入探讨了数据验证的重要性以及保险公司面临的当前挑战。它进一步涵盖了公司如何应对数据验证并实施数据验证框架，以解决有关数据质量和其治理的关切。 为什么我们需要它？ 数据验证可以给公司带来广泛的好处，其中一些我们将在下文中讨论。数据的最终用途 实施数据验证机制和对关键输入数据的治理，有助于保险公司满足与各种最终用例相关的合规要求，例如在不同的监管体系（如偿付能力II和IFRS17）下的监管和财务报告，数据用于经验研究、假设设定、现金流建模、资产负债管理和创建新产品的定价模型点等。 1吉布尼,C.&布拉德利,M.(2023年9月).关于预留的反思.CBI保险新闻.2024年6月13日获取自 https://www.centralbank.ie/docs/default-source/regulation/industry-market-sectors/insurance-reinsurance/solvency-ii/communications/insurance-quarterly-news/the-insurance-quarterly-september-2023.pdf?sfvrsn=45e49c1d_5.2麦金利，D.，格利森，C.，麦克利文纳，M.，&栈，E.构建有效的模型风险管理及验证框架。米尔曼研究报告。源自2024年6月13日https://www.milliman.com/-/media/milliman/pdfs/2021-articles/4-6-21-model-validation-considerations .ashx. 战略需求 与精确、可靠且一致的数据合作，并辅以良好的数据治理框架，使保险商能够对其结果获得更多信心，并利用这些数据满足各种战略需求，例如推出新产品、生产管理信息、决定再保险安排、分析合并收购、进行投资组合转移等，其中可靠数据对于正确定价产品或交易以获得竞争优势和避免任何后续的法律诉讼至关重要。 监管与审计要求 欧洲保险与职业养老金管理局（EIOPA）在《偿付能力II委托法案》的Article19-21中处理数据校验。3它要求公司建立内部流程和程序，以确保数据在技术准备金的计算中得到适当、完整和准确的使用。它还要求公司建立内部控制流程，以便定期对数据进行独立审查和验证。 审计师也日益关注数据质量，强调需要充足且可靠的数据控制来确保准确性。拥有清洁透明的数据验证检查和控制，以及适当文档，将有助于满足审计要求，并避免审计师提出任何实质性意见。 在以下部分，我们讨论保险公司可能面临的数据方面的关键挑战以及如何应对。 数据管理相关问题 以下是保险公司在管理和验证数据方面可能面临的一些关键问题。信息不完整或缺失 保险公司可能从内部团队或外部第三方提供者那里收到不完整或缺失的数据。这可能源于数据收集流程和系统中的系统性问题，文件丢失，数据输入错误或遗漏，或外部来源的不完整数据。 处理缺失信息也可能导致模型运行失败，如果任何预期的字段没有填写，会导致运行时间增加和运营效率低下。不完整的数据或数据中的遗漏，如果不被发现，可能会导致公司高估或低估结果，这可能会降低公司希望对关键结果达到的置信水平，并导致报告不准确。如果数据中的错误结果被顺延到后续期间，影响可能会加剧。 多种数据来源 精算师经常需要处理来自多个来源的数据，包括内部和外部来源，例如来自保单管理系统、理赔数据库、财务/投资系统、再保险公司、资产管理公司和产品文献的数据。如果这些数据源之间存在不一致性，则很难对其进行操作。这些不一致性可能是由数据结构、格式或所用约定的差异、数据输入错误、数据迁移错误或多个来源之间的数据时间差异引起的。 当使用不同的数据源服务于不同的报告基础时，这些问题会变得更加难以识别。公司可能需要投入大量时间和资源，在将数据用于精算模型运行之前，以及在不同报告基础上产生的结果进行调和之前。如果随着时间的推移，数据源的数量或数据量增加 ，这些问题可能会进一步加剧。 错误数据 数据错误可能是由于数据输入错误造成的，例如由于拼写错误、数据输入错误或对数据需求的理解错误。错误也可能是由系统故障或故障引起的，可能导致数据处理或记录不正确。 3《法规全文》可在https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32015R0035查询. 数据中的无法识别的错误通常会导致精算师在精算过程中使用质量差的数据。如果数据错误在后期被发现，则可能需要投入大量时间和资源来手动更正结果以及重新运行流程。 缺乏高质量数据可能导致保险公司需要持有更多资本来解决数据质量问题，尤其是如果监管机构已就此表示担忧。 数据结构方面的挑战 数据组织存储方式上的低效可能造成管理数据的复杂性和更长的周转时间。对数据的理解不足、格式不统一、命名约定或文件夹结构不一致，或数据层次结构低效会阻碍精确建模。在数据结构方面缺乏验证控制将进一步增加各领域的操作风险暴露 ，并降低可追溯性和效率。 应对保险公司面临的数据问题数据验证框架 保险公司可通过遵循良好的治理实践来解决有关输入数据的各种问题或挑战。这需要具备或建立适当的数据验证框架。这将能够清晰全面地定义要遵循的步骤，以及良好的实践和角色与责任的分配。 数据验证框架的一个潜在示例如图1所示，并将在下文中进行讨论。 图1：数据验证框架示例 1.定义目标 该框架的关键目标可能在于构建、维护和监控稳健的数据管理流程，以确保数据准确、可靠和完整，以便用于下一步定义的各种最终用途。 保险公司可以将上述内容之外的其他目标添加进来，这些目标可能与其公司要求以及先前已识别的数据相关问题具有特定性。 2.定义数据用途 公司应明确定义其使用数据的意图。这可以包括财务报告、用于经验研究、假设设定、风险评估和定价的数据分析等用途。 3.定义角色和职责 企业应为个人明确定义角色和职责的分配。这将有助于为团队成员设定明确期望，最小化冲突并有助于提高运营效率。它还可以减少任何不必要的工作重复。分配责任还可以增强对特定任务的拥有感，并通过结构化规划帮助提高生产力。 4.确定数据来源 识别并列出公司可能开展的项目所使用的所有数据来源非常重要。这有助于公司对每个数据来源进行可靠性评估，确定要使用哪些数据来源，并识别公司可能面临相对较低质量数据风险的地方，这可能需要执行更多的检查和控制。 5.定义验证规则 框架的下一步涉及制定数据验证规则。它可以包括以下步骤： □定义检查类型和验证规则 □定义内部重要性/公差限值 □描述纠正数据并填充任何缺失信息的方法 □定义何时以及如何应用专家判断 6.实现数据校验 这可以包括以下步骤。 □进行检验和控制，这些将在下一节中进一步讨论 □错误解决 –应用实质性门槛 –应用规则以校正数据并填充任何缺失的信息 –在需要的地方应用专家判断 □确定未来的行动项 7.文档 一份数据验证报告，清晰的、全面的文档，明确列出了检查和控制措施以及数据中的错误和专家判断，是必不可少的。它增强了用于精算模型的数据的可靠性，并且还允许利益相关者对数据产生的结果建立信心。数据验证报告也可能有助于满足监管和审计要求，提供数据控制的证据。 这也通过实现可重复性有助于减少关键人员依赖性，并且还可以帮助实体识别未来可能需要额外验证的领域。 8.审查和签批 审核和签收确保适当的管理，并且所执行的工作是高质量的且没有错误。它对于风险管理和管理责任也至关重要。 9.确定未来可执行项目 需要注意未来可以着手或改进的任何主题或问题。这使得保险公司能够优先处理任务，并根据需要解决任何可行动的要点。 数据验证检查 根据数据性质和使用场景，可以采用不同类型的检查和控制来确保使用合适的验证流程。 我们已开发了一套全面的内部清单，包含各种数据验证检查和控制，可供客户在其自身数据验证过程中使用，以确保数据的可靠性和准确性，或用于对数据验证和控制进行独立审查。 广义而言，用于解决数据问题的核查可以分为以下类别： 预处理检查 这些检查在模型点文件生成之前对原始数据提取进行。这些检查允许识别和纠正输入数据中潜在的不一致性和错误。 由公司可以执行的前处理检查示例包括： □预期使用的文件数量 □任何手动数据过程或调整 □文件格式（例如Excel、CSV或其他文本文件）以及文件中使用的字段格式符合预期 □识别任何数据丢失，例如对保费和福利值（保险金额/年金金额/单位价值）等关键总计值进行检查，在任何转换或分组过程之后，与来自保单持有人管理团队等的提供的总计进行核对。 周期一致性校验 周期性检查涉及将当期数据与先前评估期间使用的数据进行比较。这些检查可针对保单人数据以及资产数据文件的输入数据进行实施。 本类别中包含的检查示例有： □与前一期相比，保单数量的变动（允许期间新增和退出）。 □所述期间政策详情的变化。这可能包括对静态字段（预期不会从一个期间变化到下一个期间）的检查和对动态字段（可能更频繁地变化）的检查。静态字段的一些示例包括政策开始日期、退休年龄、佣金率、销售渠道等。动态字段的一些示例包括保障期限、单位价格等。 通用检查 这些检查涉及对逻辑的一般检查和对各种输入数据的连贯性检查。它们可以包括检查确定某些字段中值的有效性，以及对未通过验证规则但处于商定内部容差限值内且符合实体风险框架的记录进行检查。 这些检查的示例可以包括： □最大开始日期小于或等于评估日期 □已支付和已发生的索赔日期不应在未来 □保额、年金金额和基金价值等字段大于零 外部一致性检查 这一类检查包括确保数据在一家公司使用的各种数据源之间保持一致的检查。 这些检查可能包括： □检查字段的楼层和天花板，以验证字段是否位于产品文献中指定的范围内。例如，premiums、管理费百分比、保额金额等字段的楼层和天花板。 □将新业务模式要点与公司的管理信息报告进行核对。例如，新业务数据，如新业务保单数量、保费金额等。 用于数据验证的工具有哪些集中式数据仓库 企业可以维护其所有数据的数据湖、集中式数据库或仓库。数据湖允许以其原始格式存储原始数据，和提供灵活性、可扩展性以及处理大量不同数据