撵茶图局部：科艺融合的前沿探索

核心观点与关键数据

• 主题：科艺融合的前沿探索，聚焦于利用人工智能技术进行古画修复、色彩复原和鉴赏。
• 研究对象：以《撵茶图》、《江亭晚景图》、《菩萨焚香图》、《洞庭东山图》、《秋菊灿然图》、《千里江山图》、《洞庭渔隐图》、《山居图》等中国古画为案例。
• 关键技术：色彩复原、图像色彩复原流程、色彩推理、跨模态理解（CLIP Sim）、诗画融合大模型、图像召回试验、数据增强的大模型推理、ArtEyer系统。

研究方法与流程

1. 古画修复流程：揭命纸、托命纸、补洞帖、断纹全色、接笔处理、画芯修复。
2. 色彩复原：通过原始图像收集、画作推测配色还原、色彩修复等步骤实现。
3. 色彩推理：利用色彩直方图、色彩空间、图搜图等方法进行色彩推理。
4. “诗画一律”跨模态理解：通过CLIP Sim模型验证诗画之间的跨模态关联性。
5. 诗画融合大模型：构建CN-CLIP、ChineseClip等模型，评估模型规模参数量和视觉/文本侧骨架对图像召回的影响。
6. 图像召回试验：通过色彩一致性和意境一致性进行图像召回，测试模型效果。
7. 数据增强的大模型推理：利用GPT模型进行古画鉴赏，通过prompt引导、微调、切片、可视化等手段提升鉴赏准确度。
8. ArtEyer系统：通过多个大模型代理的协同工作，为古画提供图文并茂的鉴赏意见，包括总体特征、作者偏好、题跋印章、书画技法、人造物时代错误等策略。

研究结论

• 人工智能技术在古画修复、色彩复原和鉴赏方面具有巨大潜力。
• 通过数据增强和模型优化，可以显著提升大模型在古画鉴赏中的准确度和可视化解读能力。
• ArtEyer系统为非专业用户提供了一种便捷的古画鉴赏工具，有助于推动古画文化的传播和普及。

关键数据

• 诗画融合大模型参数量：CN-CLIP RN5077M、CN-CLIP ViT-B/16 188M、CN-CLIP ViT-L/14 407M、CN-CLIP ViT-H/14@336px 407M、CN-CLIP ViT-H/14958M、诗画融合大模型 958M。
• 图像召回试验相似度分数：色彩一致性0.577-0.511-0.422、意境一致性0.362-0.125、综合排序Top 10。