九一天美乌鸦大象

2023年9月22-24日，第十二届国际图象图形学学术会议（The 12th International Conference on Image and Graphics，简称ICIG）在中国南京举办。22日下午13:30至17:45，多模态数据感知与学习论坛在南京钟山宾馆307厅顺利举行。

本次论坛由南开大学程明明教授、南京邮电大学高广谓副研究员、上海人工智能实验室欧阳万里教授以及九州工业大学陆慧敏副教授共同组织，论坛邀请了东南大学耿新教授、西北工业大学王震教授、武汉大学叶茫教授、华中科技大学王兴刚教授、中国科学院自动化研究所石晶助理研究员和澳大利亚国立大学在读博士生季葛鹏做专题报告，论坛由陆慧敏副教授主持，其先对本次论坛整体情况以及与会人员做了简要介绍。

首先，东南大学耿新教授作了题为《机器学习的“基因”：让机器像人一样学习》的报告。耿教授介绍，深度学习需要大量训练数据和计算资源。然而，人类往往通过少量样本就能快速学习一个新的概念。这是因为新生儿大脑并非随机，人类千万年的进化结果通过基因初始化了新生儿大脑。其次他介绍了其团队提出的机器学习的“基因”——尝别补谤苍驳别苍别，基于尝别补谤苍驳别苍别的全新学习框架有望改变目前深度学习领域的游戏规则：只需要在少数“模型供应商”处进行面向开放世界任务的大规模训练，而一个面向具体任务的“客户”只需要从“模型供应商”处购买一个尝别补谤苍驳别苍别，对自己的轻量模型进行初始化，即可用少量样本快速适应自己的目标任务，就像人的学习一样。

图 1 耿新教授作报告

随后，来自西北工业大学王震教授团队成员作了题为《础滨驱动的网络空间智能对抗》的报告。他们指出，网络空间已成为继陆、海、空、天四个疆域之后的第五疆域。以信息环境为载体的网络空间正面临着来自于以现实实体世界为核心的物理信息域、以数据通信为重心的网络域、以人为中心的认知域的安全风险挑战。随后讲者介绍了几种础滨驱动的智能攻防体系，包括：（1）以知识推理和机器学习为基础的功能性智能对抗，追求更高效、更快速、更复杂的攻防策略；（2）以对抗性深度学习为基础的对抗性智能对抗，寻求更狡诈、更鲁棒、更可信的攻防策略；（3）以博弈论为基础的博弈性智能对抗，发展更理性、更长远、更群体化的攻防策略。

图 2 王震教授团队成员作报告

本次论坛的第叁个报告来自武汉大学的叶茫教授，他的报告题目为《多模态行人重识别》。叶教授首先介绍，人员重新识别在单模式搁骋叠场景中取得了令人鼓舞的表现。然而，在复杂的现实环境中，仅依赖单一模式存在一定的局限性，难以有效处理多样的场景变化。人员重新识别的实际应用可能需要整合各种数据模态，包括可见图像/视频、红外图像、素描图像、文本、声音等。进而介绍了几个常见的跨模态人员重新识别任务，介绍研究背景和挑战。重点介绍了其团队在多模态人员重新识别领域的研究进展，包括素描到照片、文本到图像、红外到可见光等。最后讨论了该主题的未来研究方向。

图 3 叶茫教授作报告

本次论坛的第四个报告来自华中科技大学的王兴刚教授，他的报告题目为《从全景驾驶感知（YOLOP）到感知预测规划一体化自动驾驶》。王教授的本次报告重点汇报了其课题组发表在《Machine Intelligence Research》期刊上的单阶段全景驾驶感知（YOLOP）方法，分析了如何高效的进行自动驾驶感知中目标检测、可行驶区域分割、车道线检测等任务的联合优化，及其在嵌入式AI芯片上的实时部署。进而汇报了其课题组针对复杂动态交通场景，如何基于环视摄像头、Transformer和Query机制实现精准的3D目标检测，目标轨迹预测以及自车的行驶轨迹规划，以提升感知预测规划一体化自动驾驶的准确性和框架简洁性。

图 4 王兴刚教授作报告

本次论坛的第五个报告来中国科学院自动化研究所的石晶助理研究员，他的报告题目为《从图像-语言走向全模态大模型，多模态集成和统一的路径探索》。本次报告重点汇报了其课题组发表在《Machine Intelligence Research》期刊上的视觉-语言预训练综述文章《VLP: A Survey on Vision-Language Pre-training》，分别从特征抽取、特征表征、模型结构、预训练目标、数据集及下游任务及现有代表性工作这些方面阐述视觉-语言多模态预训练的总体概况。此外，从视觉-语言的典型二元多模态进行扩展，汇报了课题组针对图像、语音、视频等更多模态统一的认知交互模型，并探讨当今全模态支持的大模型架构、技术路线和面临的挑战。

图 5 石晶助理研究员作报告

最后，来自澳大利亚国立大学的在读博士生季葛鹏在线作了题为《Towards AI-Powered Colonoscopy》的报告。季博士介绍，结直肠癌作为世界第三大癌症群，慢慢演变成为工业化国家恶性死亡的第二大原因，严重威胁着人类的生命健康。大部分的结直肠癌是由腺瘤性息肉演变而来，若能通过早期结肠镜检查发现并切除癌前病变，可使得发病率大幅下降约30%左右，有效阻止结直肠癌的发生及发展。因此，内镜医师在检查时通过光学诊断方式准确地发现并判断息肉所在区域，将避免不必要的手术切除和病理检查，提高了结直肠镜筛查的成本-效益比。其次，季博士以AI驱动下的结肠镜筛查技术为主题，介绍了结肠镜筛查技术的问题起源、所面临的挑战、技术方案路线，并探讨了未来潜在的研究方向点。

图 6 在读博士生季葛鹏在线作报告

本次论坛的活动现场座无虚席、学术氛围浓厚，有约100位师生参加了论坛。参会人员踊跃提问、发表见解，专家们耐心解答、拓展了在场师生的眼界和科研思路。