文心一言、GPT3.5及GPT-4的应用测评对比

本报告对比了百度发布的生成式大模型“文心一言”和OpenAI发布的多模态大模型GPT-4的问答表现。测评涉及常识和创作、归纳和推理、数学和代码、应用等方面。在常识和创作类问题中，三大模型均能正确回答客观常识类问题，文心一言的分词功能有待提升，GPT-4尚未开放图像生成外部测试，文心一言的图像生成能力较为出色。在归纳和推理类问题中，文心一言在演绎推理、逻辑推理等领域表现略逊于GPT系列模型，但在归纳总结类任务中表现较好。在数学和代码类问题中，GPT-3.5有更好的数学能力表现，GPT-3.5及GPT-4模型均完成了代码生成问题，但并非最优解，文心一言代码问题识别能力有待加强。在应用场景测试中，三大模型均能较好地完成AI生活助手、售后客服、产品推荐、办公场景文本生成等任务，但在文言文和古诗词理解运用方面表现不佳。随着百度文心及OpenAI合作生态伙伴数量快速增长、训练数据量和模型训练能力持续提升，各模型性能都有望实现进一步优化完善。建议关注在AI领域进行持续布局且拥有成熟应用场景的公司。