浙江大学计算机辅助设计与图形系统全国重点实验室副主任、艺术与考古图像数据实验室常务副主任陈为介绍了DeepSeek大模型及其在中文场景下的优势。DeepSeek模型融合了中国山水、芯片、纂书、鲸鱼等元素,形成水墨和流光粒子相结合的质感,在创意类英文故事写作评测中也居第一梯队。
研究案例包括:
- 人工智能解读艺术:MIT-IBM Watson AI Lab &哈佛艺术博物馆收集了53,375,122条机器生成的描述和标签,涵盖378,002幅艺术品图像。
- 人工智能修复艺术:微软&荷兰银行修复伦勃朗风格的画作。
浙江大学DeepSeek系列专题线上公开课(第二季)第五期内容涉及图像分类、目标检测、图像分割、图像生成、视频生成、大语言模型、多模态大模型、多智能体等。
数据标注方面,通过众包方式人工注释了1400多万张图像,目标为计算机视觉中的图像分类、对象识别。图像分类器根据风格、类型和艺术家进行分类。物象分割与标注包括画作中的人物分割。图像生成技术用于修复与智能保护。
多模态大模型基于多句描述和关键词的结果,例如“溪边停靠着一般小船;亭子里有两个人在聊天。”对应诗句“旅魂南北渡江河。不知是处湖山好,肯与东溪觅旧多。客乐红亭正当来。不用高歌如有在,今朝应为此山台。”
浙大的文化十AI实践包括“中国历代绘画大系”这一重大文化工程,涵盖12250余件藏品,收录最全、图像记录最真、印制质量最精,得到国家各部门大力支持。该工程坚持最高标准,藏品收录最全,信息记录最真,图像印制最精,例如《滕王阁图》和《天池石壁图》示例。
浙江大学艺术与考古学院依托艺术学、设计学、考古学等成立,拥有多学科交叉团队与平台,承担多项国家级重大课题,研究方向包括科技考古、文物保护材料、博物馆认知与传播、石窟寺数字化、艺术考古与图像文明。
浙江大学艺术与考古博物馆支持教学与研究,通过艺术品原作的收藏、教学、研究与展览,提高师生的美学素养、视觉能力与批判性思维。浙江大学艺术与考古图像数据实验室是教育部首批哲学社会科学实验室,提升服务国家重大文化战略能力。
课程建设方面,开设《历代绘画中的中华文明》、《基于人工智能的国画创新与应用》等通识课程,支持交叉学科教学。学生科研实践包括农学院和哲学学院的项目,例如元人程樂“农业科普画册”和展现“佛教中国化”的全景过程的画作。
面向内部教学与科研的国画数据库从开源网站收集了3万余幅中国历代绘画图像,构建了分布式艺术图像数据库,支持千万级高清图像、视频、文本等多模态数据的高效存储与检索。国画分析系统提供多元分类、定制检索、专业展示功能,包括数据概览、多维分析、个人收藏等。系统采用分布式存储、可视化展示、多层级用户权限管理。
国画分析系统还包括国画色彩分析,按朝代、题材、材质进行分类分析,已完成唐-宋时期的画作色彩分析。弹性检索引擎支持精确搜索、模糊搜索、高级搜索、以图搜图等功能。
最后,陈为探讨了软件3.0时代,如何防止对大模型关键系统的误用或滥用,提出大模型的未来应是德才兼备、品学皆优。