从领域落地看深层解析的符号模型与深度学习的预训练模型 - 李维

1. NLP历史和现状

   • AI历史上的NLP发展存在两条路线：符号NLP和监督学习NLP。
   • NLP面临的挑战包括领域落地的知识瓶颈，但预训练模型和下游NLP解析器的出现为突破瓶颈带来曙光。
   • DEEPPARSING是符号NLP应用的核武器，能够处理被动语态、名词化结构、联合短语、隐藏主被动关系、关系从句、强调结构、指代消解等复杂句法现象。

2. 殊途同归的符号与神经

   • 符号模型和神经模型在表示和推理上存在差异，但最终目标一致。
   • 符号模型使用结构化表示，而神经模型使用向量空间表示，但端到端方法仍依赖向量计算。
   • 多层符号模型补足了机器学习的短板，如冷启动问题和可解释性问题，预训练模型在解决冷启动方面初见成效。
   • 未来神经模型是否能终结符号模型仍不确定，但符号与神经的结合仍是重要方向。

3. 低代码是趋势，也是王道

   • NLP低代码潮流得益于AI开源平台的兴起和数据科学与工程的兴起。
   • 数据工作者成为关键角色，知识工程师需求旺盛。

4. NLP“半自动驾驶”

   • 半自动符号NLP的设计哲学强调规则泛化和交互式开发，通过人工参与提升精度和召回率。
   • 半自动符号NLP的实践案例包括金融领域，如领域关系抽取和信息点抽取。
   • 案例显示，通过词节点泛化路径和上下文约束条件，可以显著提升召回率和精准率。
   • 主要优点是无需大量标注数据，主要缺点是依赖人工判断和规则约束。

核心观点与结论

• NLP发展经历了符号NLP和监督学习NLP两条路线，未来仍需结合符号与神经方法。
• 预训练模型和下游NLP解析器是突破领域落地瓶颈的关键。
• 低代码和半自动开发理念是NLP发展趋势，通过人工参与和规则泛化提升效率和效果。
• 半自动符号NLP在金融领域展现出显著效能，但仍需解决依赖人工判断的问题。