导语
为了探讨图神经网络在算法神经化求解的发展与现实应用,集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳,一起发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的关联行业,包含神经算法推理、组合优化问题求解、几何图神经网络,以及算法神经化求解在 AI for Science 中的应用等方面,期盼为参与者供给一个学术交流平台,激发参与者的学术兴趣,进一步推动关联行业的科研和应用发展。读书会从2023年6月14日起始,每周三晚 19:00-21:00 举行,连续时间预计8周。欢迎感兴趣的伴侣报名参与!
分享内容简介
近年来,采用深度学习对图结构数据建模的办法取得了巨大发展,并改变了模型理解关系结构的能力。在这次分享中,主讲人将展示利用图结构在多种设备学习场景中实现繁杂而有效推理的探索,并聚焦其在基本模型中的应用。这次分享重点关注基本模型的 3 个方面:架构、学习目的和推理能力。其中,咱们将利用图和关系学习进行智能和有效的推理。尤其地,主讲人将讨论稀疏有效的Transformer架构主干、有效的自监督预训练模型实现方法,以及在大语言模型中关系推理的应用。
分享内容大纲
基本模型概述
图与关系推理
基本模型的架构
基本模型的学习目的 基本模型的推理能力
前置学习资料
1. 算法与深度学习融合之路:神经推理系列论文诠释这次分享探讨了将算法与深度学习办法结合的几种实现途径,包含运用神经网络学习经典算法执行过程、运用Transformer处理推理任务以及算法求解器的神经求解等。
主讲人介绍
应智韬(Rex Ying),耶鲁大学计算机科学系的助理教授。科研重点包含图神经网络算法、几何嵌入、可解释模型,以及近期触及关系推理的多模态基本模型。Rex是许多广泛运用的GNN算法的作者,如GraphSAGE,PinSAGE和GNNExplainer。另外,Rex还致力于图形学习在理学模拟、社交网络、知识图谱、神经科学和生物技术中的各样应用。Rex在Pinterest研发了第1个十亿规模的图嵌入服务,在亚马逊研发了基于图的反常检测算法。个人主页:https://www.cs.yale.edu/homes/ying-rex/学者主页:https://pattern.swarma.org/user/124029
主持嘉宾介绍
范长俊,国防科技大学系统工程学院副教授,硕士生导师。加州大学洛杉矶分校(UCLA)拜访学者。科研方向包含图深度学习、组合优化、强化学习及其在智能决策、繁杂系统和指挥掌控中的应用。以第1及通讯作者在Nature Machine Intelligence、Nature Communications、AAAI等国际顶级期刊和会议20余篇。先后获吴文俊人工智能科技进步一等奖、世界人工智能大会青年优秀论文奖、中国指挥与掌控学会优博论文奖和国防科技大学青年创新奖一等奖。日前主持与参与10余项国家重大项目,同期亦是中国指挥与掌控学会信息融合专委会副总干事和湖湘青年英才。
直播信息
时间:2023年10月11日(本周三)上午10:00-12:00参与方式:扫码参与图神经网络与组合优化读书会,加入群聊,获取系列读书会回看权限,作为图神经网络社区的种子用户,与社区的一线研究工作者与企业实践者沟通交流,一起推动图神经网络社区的发展。
集智学园最新AI课程,
张江教授亲授:第三代人工智能技术基本
——从可微分编程到因果推理
自1956年“人工智能”诞生于达特茅斯会议败兴,已然经历了从初期的以符号推理为主体的第1代人工智能,和以深度神经网络、设备学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新行业的突破,标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断,基于世界模型的强化学习……,所有这些脱胎于前两代人工智能的技术要素特别有可能将形成第三代人工智能的理论与技术的基本。 本课程试图系统梳理从设备学习到大语言模型,从图神经网络到因果推理等一系列可能作为第三代人工智能基本的技术要素,为科研者或学生在生成式AI、大模型、AI for Science等关联行业的学习和科研工作奠定基本。https://campus.swarma.org/course/5084?from=wechat
AI+Science 读书会 AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science,设备学习和其他 AI 技术能够用来处理科学科研中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,乃至像专家同样进行科学发掘,被叫作为科学发掘的“第五范式”。另一方面是 Science for AI,科学尤其是理学学中的规律和思想启发设备学习理论,为人工智能的发展供给全新的视角和办法。集智俱乐部联合斯坦福大学计算机科学系博士后科研员吴泰霖(Jure Leskovec 教授指点)、哈佛量子计划科研员扈鸿业、麻省理工学院理学系博士生刘子鸣(Max Tegmark 教授指点),一起发起以“AI+Science”为主题的读书会,探讨该行业的重要问题,共学共研关联文献。读书会从2023年3月26日起始,每周日早上 9:00-11:00 线上举行,连续时间预计10周。欢迎对探索这个激动人心的前沿行业有兴趣的伴侣报名参与。详情请见:人工智能和科学发掘相互赋能的新范式:AI+Science 读书会起步
图神经网络与组合优化读书会起步 现实世界中海量问题的处理依赖于算法的设计与求解。传统算法由人类专家设计,而随着人工智能技术持续发展,算法自动学习算法的案例日益增加,如以神经网络为表率的的人工智能算法,这是算法神经化求解的缘由。在算法神经化求解方向上,图神经网络是一个强有力的工具,能够充分利用图结构的特性,实现对高繁杂度算法的有效近似求解。基于图神经网络的繁杂系统优化与掌控将会是大模型热潮之后新的将来方向。为了探讨图神经网络在算法神经化求解的发展与现实应用,集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳,一起发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的关联行业,包含神经算法推理、组合优化问题求解、几何图神经网络,以及算法神经化求解在 AI for Science 中的应用等方面,期盼为参与者供给一个学术交流平台,激发参与者的学术兴趣,进一步推动关联行业的科研和应用发展。读书会从2023年6月14日起始,每周三晚 19:00-21:00 举行,连续时间预计8周。欢迎感兴趣的伴侣报名参与!详情请见:加速经典算法效率,突破现实技术瓶颈:图神经网络与组合优化读书会起步详细参见:
|