网站创建的流程是什么,上海小程序开发设计,建程网会员共享,成都 企业网站建设公司导语蛋白质相互作用网络、生态群落、全球气候系统……很多复杂系统都可以抽象为一个相互作用的网络和其上的动力学。传统的研究主要关注在如何构建网络动力学模型#xff0c;从而产生和实验观测数据具有相似统计特征的结果。所谓的复杂系统逆向工程#xff0c;就是反其道而行…导语蛋白质相互作用网络、生态群落、全球气候系统……很多复杂系统都可以抽象为一个相互作用的网络和其上的动力学。传统的研究主要关注在如何构建网络动力学模型从而产生和实验观测数据具有相似统计特征的结果。所谓的复杂系统逆向工程就是反其道而行之直接从复杂系统的时间序列数据出发重构出系统的交互结构和节点动力学。这一问题显然要比正向问题困难很多。已有的研究方法虽然已经取得了一定的进展但是它们要么专注于网络结构推理任务要么专注于动力学重构问题很少有方法能同时兼顾两者。在近日发表于 Physical Review E 的一项最新研究中北京师范大学系统科学学院张江团队提出了一个通用框架用观察到的节点时间序列数据来逆向工程复杂系统的网络结构和动力学。研究使用可微分伯努利采样过程来生成候选网络结构使用神经网络来模拟基于候选网络的节点动力学然后使用随机梯度下降算法调整所有参数以最大化在数据上定义的似然函数。实验表明该模型可以同时高精度地恢复各种网络结构和节点动力学还可以很好地处理二进制、离散和连续的时间序列数据并且重建结果对噪声和丢失信息具有鲁棒性。为了验证算法能够学习到正确的因果关系该研究首次提出利用控制任务对比学习到的替代系统和真实系统。以下是论文第一作者、北京师范大学系统科学学院硕士生张妍对该研究的解读。网络动力学网络重构复杂网络自动建模来源集智俱乐部作者张妍 编辑邓一雪 论文标题Universal framework for reconstructing complex networks and node dynamics from discrete or continuous dynamics data论文链接https://journals.aps.org/pre/abstract/10.1103/PhysRevE.106.0343151. 复杂系统的数据驱动建模很多复杂系统都可以被抽象为一个相互作用的网络和其上的动力学。传统的研究主要关注如何构建网络动力学模型从而产生和实验观测数据具有相似统计特征的结果。而我们关注的则是一个逆向工程问题如何根据系统演化生成的时间序列数据自动推断出系统的动力学规律及其相互作用网络。这是一个得到了普遍关注的前沿性问题并在气象、生物、环境、经济等多个领域中都存在着潜在应用价值。图1. 时间序列与社交网络例如如何根据全球范围的气象观测时间序列构建全球大气系统的网络动力学模型是我们更好地理解气候系统运作规律的基础如何根据转录因子浓度数据序列推测出基因调控网络并理解各个节点如何互动直接关系到我们对生命运行机制的破解如何根据局部的脑电信号序列重构出大脑结构网络和动力学机制可以帮助我们理解大脑的认知功能。如何通过各个公司的财务数据推断出公司间的相互作用网络并预测公司未来的走向这些问题都可以理解为复杂系统的逆向工程学问题。2. 复杂网络自动建模框架在此问题上传统的方法包括贝叶斯估计、概率推断、线性回归等手段虽然也能取得一定进展但是它们往往需要引入额外的假设信息例如系统的动力学方程已知等等。而本项最新研究提出了一个基于机器学习的复杂网络动力学自动建模的框架模型的输入是所有节点在时刻 的状态信息输出是 1 时刻的状态信息和网络结构。模型由两部分组成网络生成器和动力学学习器。图2. 模型框架的构造网络生成器Network Generator使用 Gumbel softmax 技术生成邻接矩阵动力学学习器Dynamics Learner由节点和连边之间的四层映射组成通过邻接矩阵把所有节点的状态由 时刻映射到 1 时刻。训练过程如下首先由网络生成器生成网络的拓扑结构临接矩阵动力学学习器用生成的邻接矩阵和所有节点的时间序列信息去预测下一时刻所有节点的状态计算预测值和真实值的损失将损失反传使用梯度下降方法不断迭代优化模型。由于现实世界中的网络都是较为稀疏的因此研究中利用稀疏矩阵的先验知识引入了结构损失学习率来不断稀疏化网络结构。同时在更大尺度的网络节点实验中采取分批次加入节点的技术以减少内存占用过大的问题。3. 网络重构和节点动力学预测除了在ER、WS、BA生成模型网络上我们还在6种真实的网络结构下进行了实验。在动力学的选择上采用了连续动力学、离散动力学和布尔动力学。实验结果如下表所示与其他选定方法列在不同动力学和网络结构行上的网络重构和动力学预测任务的性能比较可以看出无论在网络重构还是动力学预测方面效果都优于其他方法。该算法可以扩展到上千个节点规模的大网络上。在现实世界中由于测量误差或者隐私保护等问题都会面临数据缺失的问题常常只能记录网络中部分甚至很少节点的数据(M ≪ N)另一些节点难以测量我们甚至不知道这些节点存在与否。因此, 网络重构必须解决在 M ≪ N数据缺失的条件下利用已有的数据并通过有效的分析方法得到尽可能多的关于网络结构的有用信息。为此该研究在部分节点缺失的情况下进行实验来探究模型的鲁棒性。如下图所示图3(a) 显示了一个真实网络的示意图其中未观察到的节点灰色节点上缺少信息。图3(b) 显示了未观察到的节点的比例对部分网络上交互推断准确性的影响所有实验均在 100 个节点的 ER 网络上进行。图3(c) 显示了 AUC 和 MSE 对具有 100 个节点的酵母基因网络上的 Michaelis-Menten 动力学基因动力学的每个节点上添加的噪声平均值的依赖性。图3(d) 显示了推断整个网络浅色条和未观察到的部分网络深色条上的拓扑结构的能力所有网络都包含100个节点其中10%是随机选择的不可观测节点。图3. 鲁棒性探究部分节点缺失的网络上的实验为了验证该算法是否可以应用于实际场景研究者尝试根据 GeneNetWeaver 生成的 mRNA 浓度的时间序列数据从已知的酿酒酵母转录网络中推断出真实的子网络结构。在实验中研究者使用100个节点的酵母 S. cerevisiae 基因网络作为基准基因网络并使用 GeneNetWeaver 软件中 DREAM4_In-Silico 的默认参数生成数据。对于动态模拟器为每个节点使用不同的神经网络因为节点动态的异质性以及潜在变量、噪声和扰动的存在。研究者将该方法与偏相关、贝叶斯网络推理和互信息算法进行比较如图4所示该方法在网络重构方面优于其他方法还可以完成较高的精度预测动力学这表明它可以很好地执行现实的基因调控动力学。图4. 该研究方法与偏相关、贝叶斯网络推理和互信息算法的比较。然而仅仅通过机器学习的方式我们很难保证学习到的节点关系是真的因果关系而因果关系只有通过Do操作即把相同的干预操作同时施加给学习到的系统和真实的系统并得到相同的响应结果才能真正判断算法学习到了真实的因果机制。因此我们创新性地提出利用控制实验来验证学习模型的能力即在相同的控制目标前提下将学习替代模型上优化出来的最优控制策略应用到真实系统上看看真实系统是否能够达到和替代模型相同的目标。我们在两组网络动力学模型系统中展开实验控制目标定为所有节点的同步然后在学习替代模型上优化出最优控制策略并将此策略应用到真实系统模型上观察学习替代模型和真实模型的行为。对比结果如下图所示图5. 控制实验结果图。a显示了实验研究的弹簧小球网络。三个黄色节点是驱动节点其他是目标节点。控制目标是要求所有小球具有相同的运动方向。(b) 显示了控制下所有目标节点的最终运动状态。X 和 Y 表示所有小球的位置的二维坐标。(c) 显示了用于评估误差与时间步长的两条损失曲线。一个代表学习模型的结果另一个是真实结果。(d) 研究的是耦合晶格网络。两个黄色节点被选为驱动节点。控制目标是要求所有振荡器在相同的位置即0.6这是所有节点的值范围的平均值。(e) 显示了控制期间所有目标节点的振荡。(f) 显示了用于评估误差与时间步长的两条损失曲线。从图5(c)的结果看出最优控制策略不仅在真实和替代系统上都实现了控制目标而且该策略的控制误差曲线也几乎重合这说明在替代模型上优化出来的最优控制策略是可以被实施到真实系统上的。从图5(f)的结果来看虽然没有达到控制目标但是真实和替代系统具有几乎相同的控制误差曲线这说明二者具有类似的因果响应机制。4. 总结和展望本研究提出了一个同时进行网络结构重构和节点动力学预测的统一框架还提出了一个基于控制任务的新标准来评估是否可以学习真正的网络和动力学。与之前的工作相比该研究以基于马尔可夫动力学和局部网络交互的更严格的数学形式来表述问题。本研究还为该模型提出了一个新的数学框架提供了一个基于对数似然的统一目标函数这是该模型可以应用于不同动力学的理论基础。研究还描述了如何将优化目标函数分解为单个节点这是新的基于深度学习的节点网络重建方法的基础。从实验方面来看该模型的主要亮点包括可扩展性、通用性和鲁棒性。高可扩展性体现在该模型可以应用于具有超过数千个节点的大型网络准确率超过 90%因为训练过程可以逐个节点进行。它是一个通用框架因为可以应用于各种类型的动态包括连续、离散和二进制。该模型不仅对嘈杂的输入信号很稳健而且对不可观察的节点也很稳健。即使时间序列数据丢失它也可以恢复整个网络准确率超过 90%。它还被证明在 GeneNetWeaver 生成的数据集上运行良好模拟了基因调控网络动态的真实环境。最后我们提出了一种新的验证机器学习模型的方式就是通过控制实验来对比机器学习得到的替代模型和真实模型的表现。这个框架有很多潜在的应用。例如该方法可用于根据动力学信息推断缺失的连边也可以用于时间序列预测。与其他预测模型相比模型可以输出清晰的二元网络可以更深入地了解元素相互作用和潜在的因果关系增加模型的可解释性。但是当前框架中也存在一些缺点。首先需要大量的训练数据尤其是不同初始条件下的时间序列才能获得一个好的模型。然而在许多情况下很难获得时间序列数据。因此我们可以开发适合小数据的新模型。其次本文考虑的所有动力学都是马尔可夫的但在实际情况下很难满足这一性质。应该对非马尔可夫动力学进行新的扩展和实验例如可以使用循环神经网络而不是前馈网络作为动力学模拟的组件。参考文献1. S. Löwe, D. Madras, R. Zemel, and M. Welling, Amortized causal discovery: Learning to infer causal graphs from time- series data, Proc. Mach. Learn. Res. 177, 509 (2022).2. J. Casadiego, M. Nitzan, S. Hallerberg, and M. Timme, Model-free inference of direct network interactions from nonlinear collective dynamics, Nat. Commun. 8, 2192 (2017).3. T. Kipf, E. Fetaya, K.-C. Wang, M. Welling, and R. Zemel, Neu- ral relational inference for interacting systems, in Proceedings of the International Conference on Machine Learning (PMLR, 2018), pp. 2688–2697.4. A. Sanchez-Gonzalez, N. Heess, J. T. Springenberg, J. Merel, M. Riedmiller, R. Hadsell, and P. Battaglia, Graph networks as learnable physics engines for inference and control, in Pro- ceedings of the International Conference on Machine Learning (PMLR, 2018), pp. 4470–4479.5. T. Schaffter, D. Marbach, and D. Floreano, Genenetweaver: In silico benchmark generation and performance profiling of network inference methods, Bioinformatics 27, 2263 (2011).6. M. Chen, J. Zhang, Z. Zhang, L. Du, Q. Hu, S. Wang, and J. Zhu, Inferring network structure with unobservable nodes from time series data, Chaos: An Interdis, J. Nonlin. Sci. 32, 013126 (2022).未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
