撵茶图局部：科艺融合的前沿探索

主讲人：唐谈浙江大学艺术与考古学院2025/4/21 古画修复流程 古画修复流程 色彩复原效果 色彩复原效果 色彩复原流程 色彩推理 《洞庭东山图》 赵孟頫（元代） 洞庭波兮山崨嶪,川可济兮不可以涉。木兰为舟兮桂为楫,渺余怀兮风一叶。 色彩推理 色彩推理 “诗画一律” 《书鄢陵王主簿所画折枝二首》 苏轼（北宋） 赋诗必此诗，定非知诗人。诗画本一律，天工与清新。 “诗画一律” 吴昌硕（近代） 秋菊灿然白，入门无点尘。苍黄能不染，骨相本来真。近海生明月，清谈接晋人。漫持酤酒去，看到岁朝春。 “诗画一律”：跨模态 “诗画一律”：跨模态 既有隐逸名，何须寄篱下？惯受风雨欺，秋来摘盈把。 “诗画一律”：跨模态 秋菊灿然白，入门无点尘。苍黄能不染，骨相本来真。 既有隐逸名，何须寄篱下？惯受风雨欺，秋来摘盈把。 诗画融合大模型 ChineseClip https://github.com/OFA-Sys/Chinese-CLIP 图像召回试验 图像召回试验 图像召回试验 木兰为舟兮桂为楫,渺余怀兮风一叶。 《湘君》 选自《九歌》 美要眇兮宜修，沛吾乘兮桂舟。 《湘夫人》 嫋嫋兮秋风，洞庭波兮木叶下。 图像召回试验 《山居图》 钱选（元） ZJUAAILAB PColorizor:Re-coloringAncientChinesePaintingswithIdeorealm-congruentPoems WangeWu1 PeiquanXia1 ACMSymposiumonUserInterfaceSoftwareandTechnology(CCF-A) https://tantang.org/pcolorizer-public 1SchoolofArtandArchaeology,ZhejiangUniversity,Hangzhou,China2LaboratoryOfArtAndArchaeologyImage,ZhejiangUniversity,Hangzhou,China3StateKeyLabofCAD&CG,ZhejiangUniversity,Hangzhou,China 古画鉴赏的初步探索 局限二交互 局限三幻觉 局限一：知识库 古画鉴赏的初步探索 古画鉴赏的初步探索 能识别题材：山水 能识别画面内容：山峰、雨雾、亭台楼阁、人物废话 能识别印章 废话 古画鉴赏的初步探索 表示不确定 但能猜出宋代或元代 分析过程不直观，不客观 需要更多信息 古画鉴赏的初步探索 输入： 其实是兼工带写其实是淡彩特征提取基本正确 中国古画有一些【基本特征】：【材料】指作画媒介的材料，包含【纸本】【绢本】【金笺】【绫本】【版画】等，其中大多数是【纸本】或 【绢本】；【形制】表示画的形状，包含【立轴】 【册页】【长卷】【扇面】【横幅】【镜片】等； 【题材】为画作的主题，是中国古画分类的一大 依据，包括【山水】【人物】【花鸟】；【技法】则分为【工笔】【写意】【兼工带写】；【设色】表示画作的色彩使用，包含【设色】【水墨】【墨书】【浅设色】【淡彩】【重彩】【白描】 【吴妆】【青绿】【螺青】【浅绛】等。现在， 不给上面这幅画作（记作“画作A”）和其他画作的另外信息，请从画面和你已经知道的知识，分析出画作A的这5个基本特征【材料】【形制】【题材】【技法】【设色】分别是什么。 古画鉴赏的初步探索 接下来，我会给你若干个标注了【基本特征】的例子。在我举例时，请回复“继续”，当我给出指令【请鉴定】时，请你根据前面的例子，以这样的格式分析画作的特征：“ 画作n：材料：绢本形制：立轴题材：山水技法：兼工带写设色：淡彩” 泛舟图朝代：宋画家：马远材料：绢本形制：册页题材：山水技法：写意设色：螺青 古画鉴赏的初步探索 材料：绢本√形制：立轴√题材：山水√技法：兼工带写√设色：水墨×螺青 古画鉴赏的初步探索 材料：绢本√形制：立轴×册页题材：花鸟√技法：写意×兼工带写设色：水墨加彩×水墨 古画鉴赏的初步探索 无法判断画家 数据增强的大模型推理 作者信息搜索 基本特征可视化释读 了解画作创作背景 初始的GPT模型对于鉴赏的准确度并不高，尤其是可视化解读方面，展示了分析过程中的困难。 数据增强的大模型推理 数据增强的大模型推理 基本特征可视化释读 在提示后，GPT还能在不经过图表辅助的情况下完成“画作基本特征识别”其鉴赏能力在一定程度上有所提升 数据增强的大模型推理 细节分析与应用 数据增强的大模型推理 综合鉴赏 最后，在“综合鉴赏与作者研究”阶段，我们通过“总体分析”来综合考量画作的各个方面，深入研究作者的生平和创作风格，以获得对古画更深层次的理解。 但是直接利用GPT做古画鉴赏需要prompt引导，微调，切片，可视化等一系列手段，十分繁琐。因此，我们开发了ArtEyer。 ArtEyer ArtEyer通过多个大模型代理的协同工作，为古画提供图文并茂的鉴赏意见，使非专业用户也具备古画鉴赏的能力。 ArtEyer 作者画作总览 ArtEyer 策略2:题跋印章空间位置不正确 ArtEyer 策略3:书画技法不符合作者 ArtEyer 策略4:人造物（衣、食、住、行）的时代错误 ZJUAAILAB ArtEyer:EnrichingGPT-basedAgentswithContextualDataVisualizationsforFineArtAuthentication VisualInformatics KejiaRuan1 YanhongWu2 TanTang1,3 JunmingGao1 XiaojiaoChen1,3 YingcaiWu2 YanjieZhang3 ShuainanYe2 1LaboratoryOfArtAndArchaeologyImage,ZhejiangUniversity,Hangzhou,China2StateKeyLabofCAD&CG,ZhejiangUniversity,Hangzhou,China3SchoolofArtandArchaeology,ZhejiangUniversity,Hangzhou,China