《神经网络的动力学》王圣军著|(epub+azw3+mobi+pdf)电子书下载

图书名称：《神经网络的动力学》

【作　者】王圣军著

【丛书名】学术研究专著系列·物理学

【页 数】 129

【出版社】 西安：西北工业大学出版社 , 2017.10

【ISBN号】978-7-5612-5498-1

【价 格】32.00

【分 类】神经网络-动力学

【参考文献】 王圣军著. 神经网络的动力学. 西安：西北工业大学出版社, 2017.10.

图书封面：

图书目录：

《神经网络的动力学》内容提要：

《神经网络的动力学/学术研究专著系列·物理学》介绍使用模型开展的神经活动动力学原理的一些研究。全书共四章，包括神经活动的动力学与网络结构、神经网络的同步、神经网络中的自组织临界态和神经网络的吸引子模型。 《神经网络的动力学/学术研究专著系列·物理学》适合非线性科学、复杂网络科学和神经网络动力学等方面的科技工作者阅读。

《神经网络的动力学》内容试读

第1章

神经活动的动力学与网络结构

1.1神经活动研究的动力学观点

在过去的半个世纪中，通过构造动力学模型来描述和研究神经系统和脑功能已经有了一段成功的历史1]。例如，神经节律活动的一些特征已经通过模型研究得到了解释)。在过去的20年中，基于生理实验的发现，许多令人感兴趣的学习和记忆的模型也已经被提出来了。现在甚至还有一些描述意识的动力学模型。这些模型的构造或这些研究结果的获得通常基于非线性动力学（包括混沌动力学）的传统范例和方法。作为一个正在兴起的新领域，神经系统的动力学研究的目的是寻找神经活动中的动力学原理和发展非线性动力学的新范例。这方面的一个重要的综述[们如下：

神经系统中的动力学研究包含两个方面的含义。①对于已经建立的生物神经系统的数学模型，往往需要利用非线性动力学的方法和理论进行深入的研究。②大脑的一些功能，如神经计算与神经信息处理，可以被看作是一种动力学过程，所以可以根据动力学系统的概念来构造描述这种功能的模型。这两层含义分别对应着神经活动的理论研究中的自下而上和自上而下两种建模思路。

思路一，自下而上的动力学模型研究的第一步是建立单个神经元和它们的突触连接的数学描述[6)，即首先根据具体的实验数据构造神经元和突触的数学模型(这些模型描述本质上是简化的)。在此基础上，根据解剖和生理数据，重构一个神经回路中的特定连接斑图和突触作用的强度、极性（兴奋性或抑制性）。有了这个连接斑图以及神经元和突触的动力学特征，自下而上的模型能够预言神经回路的功能特性和它们在动物的行为中所起的作用。

神经活动明显无穷多的差异性使它的动力学描述看起来是一个没有希望的甚至是没有意义的任务。然而经典动力学理论中积累起来的知识在这个情况下可以发挥作用。尤其是，由Andronov在1931年提出的观点。这个观点关注动力学模型的结构稳定性和分叉研究[)。其基本的观点可以追溯到Poincare,在他的著作《科学的价值》(1905年)中，Poincare写道“我们对于数学物理的方程要做的主要事情是去研究在它们里面什么可以改变并且将被改变”。Andronov理解动力

。1e

神经网络的动力学一-一一-

系统的方法包含三个要点：

(1)只有那些不随着参数的微小变化而改变其活动的特征的模型可以被认为是真正适合描述实验的模型。他把它们称为结构稳定的模型或动力学系统。

(2)为了获得对于一个系统的动力学的深入认识，有必要辨别它在所有可能的初始条件下的主要活动类型。在这个任务中相空间（状态空间）分析方法是一个重要的方法。

(3)把系统的相空间行为考虑成一个整体，给动力系统引入拓扑等价的概念。这有助于理解一个系统的动力学在控制参数被改变的时候发生的局域的和全局的变化，即分叉。

这样一种划分相空间区域的方法是一种能够用于构造神经系统的潜在稳定活动的完整图像的方法，从而可以应用到对生物神经网络的复杂活动的分析中，至少对于小的自治的神经系统是可以的们。这种方法能够被应用于神经活动研究的很重要的一个原因：神经动力学系统是强耗散的。在神经系统中，来自生化反应的能量被用于驱动神经活动，而在产生和传播动作电位的过程中会损失大量的能量。在一个耗散系统的相空间中，几乎所有的轨道都被吸引到叫作吸引子的轨道或轨道集合上。它们可以是固定点（对应于静态活动）、极限环（周期活动）、或奇怪吸引子（混沌动力学）。具有吸引子的动力学系统通常是结构稳定的（严格地说一个奇怪吸引子自身是结构不稳定的，但是它在系统相空间中的出现是结构稳定的现象)。对于Andronov的方法来说，这是很重要的一点。

神经模型中和实验中的分叉研究是理解单神经元和神经环路中许多涉及神经信息处理和行为组织现象的动力学起源的基础。在实验研究和模型研究中，已经观察到了许多种分叉，尤其在基于细胞膜上离子通道电导的Hodgkin-Huxley类型方程町（它是神经元模型的范例和建立神经元模型的传统框架）和网络稳定性与可塑性的分析中。

自下到上的模型研究已经获得了神经科学中基于经典动力系统理论的一些最引人注目的结果。这些结果来自对单个神经元或单个突触的动力学多样性的描述10，具有不同连接类型的一小组神经元的时空协同动力学121)，以及具有动态突触的网络中的同步的原理146们。

神经系统以一种非常不同于经典非线性动力学理论的方法利用一些现象，如同步、竞争(competition)、中断(intermittency)和共振。例如：神经系统中一个模块或小环路通常不是自治的。这意味着当我们处理神经系统的时候，必须考虑刺激依赖的同步、刺激依赖的竞争等等。由于神经系统中特殊的条件以及神经连接结构的多样性和神经动力学的多样性，因而对于支配神经系统活动的原理往往需要不同于经典非线性系统的动力学理论的新认识。

思路二，自上而下的动力学模型研究开始于对动物行为中鲁棒性的、可重复的

。2。

-一一-一神经活动的动力学与网络结构第1章」

并且对于生存来说十分重要的那些神经活动进行的分析。

在现有的关于大脑的知识状态下，不可能像在研究物理系统，如电路等，做的那样，对脑功能使用严格的数学分析。然而，可以根据已有的关于神经系统的知识来构造感兴趣的现象的数学模型，并且使用这些信息来熟悉和约束这个模型。事实上，现有知识允许我们做出很多假设并且把它们写成数学的形式。

在一些自上而下的模型中已经尝试了使用一些经典非线性动力学方法来理解和描述与认知功能有关的神经活动。几乎半个世纪以前，Ashby假设认知可以在模型中被描述为动力学过程(1960年)。此后，神经科学家已经花费了相当多的努力在实践中执行这个动力学方法。被研究的最多的动力学模型的观点是神经信息的处理是一个相空间流。

神经系统中的计算和信息处理是一个动力学过程的想法在今天已经被广为接受。关于这个观点的简明综述)：这个观点可以通过与数字计算机的比拟来说明。一个数字机器可以通过编程来比较一个图像与一个人的三维表现，于是可以通过一个计算解决识别一个朋友这样的问题。相似地，如何驱动一个机器人的马达做一个想要的动作也是一个可以在计算机上解决的经典力学问题。虽然我们可能不知道如何写出这些任务的高效算法，但是这些例子的确已经说明了神经系统做的事可能被描述成计算

具体地，可以进行如下对比。有N个寄存器的电脑，每个寄存器保存一个二

进制比特。在一个特定时刻，这个机器的逻辑状态由这N个比特构成的矢量表

示，例如01010101。这个状态在每个时钟周期改变一次（控制机器状态变化的转变图在机器的设计中已经被固定)。于是这个计算机可以被描述成一个动力学系统，它在离散的时间上改变它离散的状态，通过沿着相空间路径运动而执行计算。这台机器的使用者不控制动力学，它由状态转变图决定。用户的程序、数据和一个标准初始化步骤规定机器的初态。在一次计算中，当这个离散系统达到一个稳定点时，解就被找到了。状态比特的一个特定子集将表达想要的解。相似的计算也可以被连续时间和连续变量所描述。计算被一个从初态运动到终态的动力学系统所执行，这个想法在离散和连续这两种情况下是相同的。在连续情况下，状态空间中可能的运动构成一个流场，计算被沿着流的从起点到终点的运动所描述（真实的数字机器只包含模拟成分，数字描述只是一个包含了连续动力学本质，但变量更少的表示)。

被研究的最广泛的认知类型动力学模型的例子是多吸引子网络描述的联想记忆模型。它基于能量函数的概念和具有多吸引子的动力学系统的李雅浦诺夫函数的概念(1982年)[2-。这种网络中的动力学过程常常被叫作用吸引子计算(computation with attractor)。这个模型的想法：在学习阶段，在网络的相空间中，设计一组吸引子，每个对应于一个特定的输出。使用吸引子进行神经计算意味着

。3

神经网络的动力学一---一一一

给定的输入刺激转变到一个吸引子。输入刺激是使用吸引子的吸引域中的一个状态作为初态。转变的结果是给出一个想要的固定的输出。

最近几年发表了许多种处理神经信息编码与解码的模型，其中既有自上而下的模型也有自下而上的模型。然而，在关于学习与记忆的实际生物过程的知识中仍存在巨大的空白，精确地建模仍是一个遥远的目标。这方面的综述[22]如下：

这类自上而下的模型在有关计算机信息处理的工程领域中引起了巨大研究热情。在神经生物的研究中，它的价值在于：通过比较模拟和实验结果，帮助理解生物的神经系统是如何工作的。

1.2神经基本活动的电学描述

为了便于理解神经系统的动力学描述，本节将介绍神经系统的基本构造单元以及神经电生理活动的一些基本规律。

神经元是神经系统的基本组成单元，它的数量极其庞大。人的大脑皮层中有大约1000亿个神经元。每个神经元平均与其他1万个神经元相联系。神经系统中存在着多种多样的神经元，已知的神经元有100多种。神经元的具体形态和尺寸相差很大。但是，它们的基本形态是相同的。神经元一般由胞体、树突和轴突构成，如图1.1所示。

树突

胞体

轴突

突触

细胞核

神经冲动

图1.1神经元结构示意图

树突多呈树状分支，它可接受刺激并将冲动传向胞体：轴突呈细索状，末端常有分支，称轴突终末，轴突将冲动从胞体传向终末。另外，还有一个重要的结构一突触。它是轴突末梢与其他神经元树突或胞体的连接，是实现神经元相互耦合的关键结构。

图1.1中用箭头指出了神经冲动的传递方向。粗略地说，神经元的胞体和树

。4

一-一-一神经活动的动力学与网络结构第1章

突接收来自其他神经元的神经冲动或信号，导致神经元兴奋。当兴奋程度大于某

一阈值时，便产生一个神经冲动或信号。神经冲动沿轴突快速传播，并通过突触传递给其他神经元。

用来描述神经元的物理量是所谓的膜电位。神经元或神经细胞用它的细胞膜将细胞内浆液与细胞外液隔开。细胞膜的内外都是电解质，含有丰富的离子。神经元的细胞膜对于特定的离子是具有选择通透性的，不是所有离子都能任意地穿过细胞膜进人或移出神经元。在生物的新陈代谢作用下，神经元内外的离子的成分不相同，造成细胞膜内外存在电势差。所谓的膜电位，就是细胞膜内的电位与细胞膜外电位的差值。

神经系统的新陈代谢过程把一些较大的、不能通过细胞膜的阴离子注入到细胞内浆液中。这种生物过程使得神经元在平衡状态下，即不接受任何刺激的静息(resting)状态下，细胞内的电位低于细胞外电位。静息膜电位一般是一65mV。

细胞膜对离子的选择通透性使神经纤维成为一个导电通道，即可以简单得把神经纤维比喻成带着绝缘层的导线。但是，神经纤维直径很小、内部载流子密度低又加上细胞膜仅仅是相对绝缘，使得神经纤维的导电性很差，电位沿着神经纤维是指数衰减的。这种传导方式只能传导局部电位信号。神经系统中除了局部电位以外还有另外一种信号，就是构成神经冲动的动作电位。

动作电位是沿轴突运行而不衰减的短暂活动。它是全或无的，意思是它的振幅沿轴突保持相对恒定，在不同类型的神经纤维中动作电位的振幅变化是不大的。在各种动物中，动作电位都是基本一致的，而且产生与传播机制也基本相同。只是传播速度会随着纤维而变：在粗的纤维中传导速度更大。动作电位有明显的阈值性，膜电位一旦超过阈值动作电位就发放，且幅度和持续时间由发放机制决定不受激发它的刺激的影响。每个动作电位之后有个强制的沉默期（即不应期，refractory period),此期间不能发放第二个动作电位

动作电位的离子基础如下：当膜电位升高到阈值的时候，细胞膜对钠的阳离子的通透性猛增，大量钠离子涌人神经纤维造成膜电位迅速增加，膜电位大于零。随后，钾阳离子迅速外泄，膜电位回落。动作电位发放后，神经元需要通过一定的时间，通过生物过程恢复到静息状态。在这期间，离子失活，不能像静息态的离子一样运动。这段时间就是不应期。

突触是负责把神经信号从一个神经元传递到另一个神经元的重要结构。它是轴突末梢与树突或胞体靠得很近的结构。突触间隔一般在20~50nm,但是也有小的间隔，仅宽2nm。

突触按其传导机制分为电突触和化学突触。电突触通过2nm的间隙直接把动作电位传导到后续神经元，传导速度快，几乎无延迟，但是在生物体中的应用较少。化学突触的突触间隔一般较大，电信号不能直接传过去。这种突触中，突触前

。5。

神经网络的动力学--一一一一

膜在动作电位刺激下，释放化学递质。它通过化学作用，改变突触后膜的通透性，影响突触后电位。化学突触的传递需要一定的时间，会造成信号传递的延迟

突触又按其效果分为兴奋性和抑制性的。对于化学突触，兴奋性突触将使突触后电位升高，相反抑制性突触将降低突触后电位。当突触后电位的总和达到阈值时，突触后神经元将有动作电位发放。

前面已经说明，神经系统只传递两种信号：局部电位和动作电位。这两种信号是所有被研究过的生物体中神经系统的通用语言。

局部电位只能短距离传播，一般限于1mm或2mm。这种电位在特殊的区域如感觉神经末梢（称为感受器电位）或者在细胞与细胞的节点（称为突触电位）起重要作用。但是长距离的信号传输，依靠的是动作电位。动作电位在不同的神经通路中都是大致相同的，而且在各种生物体中也没有多少差别。最大的差别是各种神经纤维中动作电位的传导速度不尽相同。

所有的神经纤维都传导这样一种信号，可以断定神经纤维中的信息不是电话线中的模拟电流。在神经系统中，可以把动作电位看作信息传递中使用的符号。不同的动作电位序列，具有不同的全或无的时间组合，携带不同的信息。这种携带信息的方式被称为用动作电位对信息进行编码。编码在动作电位序列中的信息主要依赖于动作电位之间的时间间隔。依赖于时间而不是依赖于电位活动波形的细节，这增加了神经之间进行通信的可靠性和可再现性。神经信号在传导中的分散和衰减会改变电位活动的波形，但是能够保持它们的时间信息。

单个神经元的活动已经被使用电学定律建立的模型很好地描述，例如

Hodgkin-Huxley方程1)。突触的动力学以及它的可塑性也被广泛研究[24，。但是认识一个神经元集体的活动规律和功能，仍是一个艰巨的任务。

1.3复杂网络理论

在神经系统的研究中，除了根据神经生物学实验得到基本组成单元的数学模型以及使用动力学对于模型系统的活动进行认识以外，神经网络的结构也是一个重要的方面。网络的结构对于大多数复杂系统整体的动力学具有重要的影响，这已经是一个被普遍接受的观点。网络结构对于神经网络动力学的影响是本节的主要工作之一。本节介绍关于复杂网络结构的理论。

复杂网络研究一开始就是交叉学科研究。在复杂网络研究兴起之前，网络概念就已经在几个研究领域出现并发挥着重要的作用，例如社会学研究、计算机网络和互联网、数学中的一个分支图论，以及本节关心的神经系统活动。现实中的网络系统可以分成四类：社会网络、信息网络、技术网络、生物网络26。过去的十几年内，由于各领域数据的大量积累以及数据采集与处理的计算机化，跨越学科和领域

。6。

···试读结束···