《现代神经网络教程》杨淑媛著|(epub+azw3+mobi+pdf)电子书下载

图书名称：《现代神经网络教程》

【作　者】杨淑媛著

【丛书名】人工智能前沿技术丛书

【页 数】 484

【出版社】 西安：西安电子科技大学出版社 , 2020.04

【ISBN号】978-7-5606-5546-8

【价 格】97.00

【分 类】神经网络

【参考文献】 杨淑媛著. 现代神经网络教程. 西安：西安电子科技大学出版社, 2020.04.

图书封面：

图书目录：

《现代神经网络教程》内容提要：

神经网络是一门植根于许多学科的技术，其研究涉及到神经科学、数学、统计学、物理学、计算机科学等多门研究学科。本书旨在讲述神经网络的基本概念、介绍实用的模型、典型的学习算法以及神经网络的一些最新进展与研究成果。

《现代神经网络教程》内容试读

第1章绪论

人工神经网络是探索人类智能奥秘的有力工具。起源于20世纪40年代的人工神经网络的研究经历了四五十年代的首次繁荣、六七十年代的一度低潮、八十年代的再次复苏，几经兴衰，如今已经成为一门理论日渐成熟、应用日渐广泛与深入的学科。作为智能信息处理的核心工具之一，目前人工神经网络的研究在借鉴脑认知科学以及更多的生物智能的同时，也越来越重视与神经数学、神经化学等神经信息处理方法的结合，飞速发展的高性能计算手段更是为人工神经网络的实现提供了保障。人工神经网络研究带来的丰富的理论成果与应用方法，促进了许多相关领域如机器学习、机器人技术及神经工程学的发展，使之向实现人工智能的目标一步步靠近。我们致力于类脑计算与神经网络学习的基础与应用研究，并在深度学习理论、应用及实现等方面取得了突破性的进展1-1]，正如被誉为“人工智能领域的霍金”和“人工大脑之父”的雨果·德·加里斯教授所说：“脑计算的仿真将会使你的所有想象成真，一切变为现实只是时间问题。”

1.1人脑与脑神经信息处理

第

章

脑是人体最复杂最重要的器官，也是人类思考和感知的来源.01。在人类进化的数百万年历史中，人类对自然环境进行着不懈的探索与改造，在锻炼出灵巧双手的同时，也

绪

论

造就了结构精巧、功能完善的大脑。几十世纪以来，科学家一直在努力探索大脑所蕴含奥秘的玄机，亚里士多德是第一个认真思考人脑运作模式的人。他认为：大脑能够帮助调节体温，人流出来的鼻水则是大脑里漏出来的降温液体，既然人激动时心跳会变快，那么心脏应该是负责人体思考和感知的部位。今天我们当然可以嘲笑这种说法。和公元前4世纪相比，人类对于大脑的认识已取得了长足进展。现在，我们可以借助于先进的医学扫描仪器透视活生生的大脑，从而揭开大脑组织神秘的面纱。

大脑是一个电气化学活动的海洋。电和化学物质在这个海洋里流动，形成各种类型的电脉冲和化学动力，它们是脑内神经信息传递的动力。神经细胞（神经元）是大脑信息处理的基本单位。人脑内有100多亿个神经细胞。每个神经细胞的边缘都有若干向外突出的树突或轴突。在轴突的末端有个膨大的突起，叫作突触小体。每个神经元的突触小体跟另一

个神经元的树突或轴突接触，这种结构叫作突触。每个神经元通过突触跟其他神经元发生联系，并且接受来自其他神经元的信息。信息从一个神经细胞传递到另一个神经细胞时，采取的是释放神经递质的方式。不同的神经递质携带不同的信息1]：有的带有兴奋信号，促使神经纤维放电，使肌肉细胞收缩，或腺体细胞增加分泌；有的则带有抑制信号，抑制神经纤维放电，从而抑制肌肉收缩，使肌肉松弛。多种不同的化学物质参与神经细胞间信息的传递，这些递质好似化学语言，除了乙酰胆碱和去甲肾上腺素以外，还有多巴胺、5-羟色胺、谷氨酸、r-氨基丁酸、甘氨酸、牛磺酸等1。这种神经元传递和接受信息的功能，正是人类大脑具有记忆的生理基础

现

人脑具有精巧的结构和根据经验建立自身规则的能力，能够组织起数目巨大的神经

代

元，以比今天已有的计算机快许多倍的速度进行计算。从解剖学和生理学角度来看，人脑是一个复杂的并行系统，具有“认知”“意识”和“感情”等高级脑功能141们。如果我们将人

经

脑神经信息活动的特点与传统的冯·诺依曼计算机的工作方式进行比较，就可以看出人脑在信息处理机制和信息处理能力上都具有一些鲜明的特点。

络

1.1.1人脑的信息处理机制

人脑的信息处理机制与计算机的信息处理机制存在很大的不同。

程

首先是系统结构方面。冯·诺依曼计算机是一种由各种二值逻辑门电路构成的按串行方式工作的逻辑机器，它由运算器、控制器、存储器和输入/输出设备组成，其信息处理是建立在冯·诺依曼体系基础之上的，基于程序存取进行工作，所有的程序指令都必须调到

CPU中后再一条一条执行。人脑在漫长的进化过程中形成了规模巨大、结构精细的群体结

构，即神经网络。脑科学研究结果表明，人脑中约有多达10°~10"数量级的神经元，人脑的神经网络由这数百亿神经元相互连接组合而成。每个神经元相当于一个超微型信息处理与存储机构，只能完成一种基本功能，如兴奋与抑制，而每一个神经元约有103~10个突触，因此大量神经元广泛连接后形成的神经网络可进行各种极其复杂的思维活动，在需要时能以很高的反应速度作出判断。例如，人在识别一幅图像或作出一项决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。

其次是信号形式方面。计算机中信息的表达采用离散的二进制数和确定的二值逻辑形式，许多逻辑关系确定的信息加工过程则可以分解为若干二值逻辑表达式进行处理。然而，客观世界中的事物关系并非都可以分解为二值逻辑的关系，还存在着各种模糊逻辑关系和非逻辑关系，对于这类信息的处理，传统的冯·诺依曼计算机通常是难以胜任的。人脑中的信号有模拟和离散脉冲两种形式。模拟信号具有模糊性的特点，虽然有利于信息的整合和非逻辑加工，但是这类信息处理方式不能全部用数学方法进行充分描述，因而很难用计算机进行模拟。

再次是信息存储方面。冯·诺依曼计算机存储器内信息的存取采用按顺序寻址的方

2

式，如果要从大量存储数据中随机访问某一数据，必须先确定数据的存储单元地址，再取出相应数据。与传统的冯·诺依曼计算机不同，人脑中的信息不是集中存储于一个特定的区域中，而是分布存储于整个系统中。此外，人脑中存储的信息不是相互孤立的，而是联想式的。人脑这种分布式、联想式的信息存储方式使人类非常擅长于从失真和缺省的模式中恢复出正确的模式，或利用给定信息寻找期望信息。

1.1.2人脑的信息处理能力

人脑中的神经网络是一种高度并行的非线性信息处理系统，在信息处理能力方面具有远比冯·诺依曼计算机更强大的功能。

首先是人脑的并行处理能力。神经网络的并行性不仅体现在结构和信息存储上，而且还体现在信息处理的运行过程中。人脑中的信息处理是以神经细胞为单位的，而神经细胞间信息的传递速度只能达到毫秒级，显然比现代计算机中电子元件纳秒级的计算速度慢得多，因此似乎计算机的信息处理速度要远高于人脑，事实上，在数值处理等应用方面只需几行算法就能解决问题时确实如此。但是，与冯·诺依曼计算机不同，人脑采用了信息存储与信息处理一体化的群体协同并行处理方式，信息的处理受到原有存储信息的影响，处理后的信息又留在神经元中成为记忆。这种信息处理、存储的构建模式是广泛分布在大量神经元上同时进行的，因而呈现出来的整体信息处理能力不仅能快速完成各种极复杂的信息识别和处理任务，而且能产生高度复杂而奇妙的效果。例如，几个月大的婴儿能从人群中

一眼认出自己的母亲，而计算机解决这个问题时需要对一幅具有几十万个像素点的图像逐点进行处理，并提取脸谱特征进行识别。又如，一个篮球运动员可以不假思索地接住队友传给他的球，而让计算机控制机器人接球则要判断篮球每一时刻在三维空间的位置坐标、

第

运动轨迹、运动方向及速度等。显然，在基于形象思维、经验与自觉的判断方面，人脑只要

1

章

零点几秒就可以圆满完成的任务，计算机花几十分钟甚至几小时也未必能够完成，即这种并行处理所能够实现的高度复杂的信息处理能力远非传统的以空间复杂性代替时间复杂性

绪

论

的多处理机并行处理系统所能够企及的。迄今为止，计算机处理文字、图像、声音等信息的能力与速度远不如人脑。

其次，人脑具有从实践中不断汲取知识、总结经验的能力，通常将这种对经验作出反应而改变行为的能力称为学习与认知能力。刚出生的婴儿脑中几乎是一片空白，在成长过程中通过对外界环境的感知即有意识的训练，知识和经验与日俱增，解决问题的能力越来越强。计算机完成的所有工作都是严格按照事先编制的程序进行的，因此它的功能和结果都是确定不变的。作为一种只能被动地执行确定命令的机器，计算机在反复按指令执行同

一程序时得到的永远是同样的结果，它不可能在不断重复的过程中总结或积累任何经验，因此不会主动提高自己解决问题的能力。

再次，人脑不仅能对已学习的知识进行记忆，而且还具有复杂的回忆、联想、想象等非

逻辑加工功能，因而人的认识可以逾越现实条件下逻辑所无法越过的认识屏障，产生诸如直觉判断或灵感一类的思维活动。例如，人脑能在外界输入的部分信息刺激下，联想到一系列相关的存储信息，从而实现对不完整信息的自联想恢复，或关联信息的互联想，而这种互联想能力在人脑的创造性思维中起着非常重要的作用。对于冯·诺依曼计算机来说，它没有主动学习能力和自适应能力，只能不折不扣地按照人们已经编制好的程序来进行相应的数值或逻辑计算。信息一旦存入便保持不变，因此不存在遗忘的问题；在某存储单元地址存入新的信息后会覆盖原有信息，因此不能对其进行记忆；相邻存储单元之间互不相干，因此没有联想能力。尽管有一些由关系数据库等软件设计实现的系统也具有一定的联想功能，但这种联想功能不是计算机的信息存储机制所固有的，其联想能力与联想范围取

代

决于程序的查询能力和计算机的寻址方式，所以它不可能像人脑的联想功能那样具有个性和创造性。

经

另外，在信息的逻辑加工方面，人脑的功能不仅局限于计算机所擅长的数值或逻辑运算，而且可以上升到符号思维和辩证思维等层面。人脑还善于对客观世界丰富多样的信息和知识进行归纳、类比和概括，综合起来解决问题，人脑具有的这种高层次的逻辑加工能

络

力使人能够深人到事物内部去认识事物的本质与规律。这种综合判断过程往往是一种对信息的逻辑加工和非逻辑加工相综合的过程，它不仅遵循确定性的逻辑思维原则，而且可以

程

经验地、模糊地甚至是直觉地作出一个判断。对于冯·诺依曼计算机来说，它没有非逻辑加工功能，因而不会逾越有限条件下逻辑的认识屏障。计算机的逻辑加工能力也仅限于二值逻辑，因此只能在二值逻辑所能描述的范围内运用形式逻辑，而缺乏辩证逻辑能力。

最后，人脑能够以鲁棒的方式有效地处理各种模拟的、模糊的或随机的问题。在冯·诺依曼计算机中，存储器内信息的存取采用按顺序寻址的方式。如果要从大量存储数据中随机访问某一数据，必须先确定数据的存储单元地址，再取出相应数据。一旦存储器发生了硬件故障，存储器中存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可以由

一部分内容恢复全部内容。当发生“硬件”故障（例如头部受伤）时，并不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。

1.1.3人工神经网络

从最简单的知觉、行动，到复杂的情感、思维、学习、决策，这些都来自于我们的大脑。作为人体最复杂的生物器官，大脑是最神秘的一个“超级计算机”。自从人们认识到人脑与传统的冯·诺依曼计算机的信息处理机制完全不同，关于人工神经网络的研究就开始了。以人工方法模拟人脑生物神经网络的信息存储和处理机制，用计算方法对生物神经网络信息处理规律进行探索，从数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，设计具有人类思维特点的智能机器一人工神经网络(Artificial Neural Networks,ANN),

是该领域众多科学家几十年来的梦想。20世纪40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都取得了丰硕成果。在此基础上，神经生物学家、心理学家W.S.McCulloch与青年数学家W.A.Pitts合作，从人脑信息处理的观点出发，采用数理模型的方法研究了脑细胞的动作、结构及其生物神经元的一些基本生理特性，提出了第一个神经计算模型，从而开创了对人工神经网络的研究.。

目前关于人工神经网络的定义尚不统一。一般地，人工神经网络被认为是对人类大脑系统一阶特性的一种描述，是一种旨在模仿人脑结构及其功能的信息处理系统。简单地讲，人工神经网络是一个数学模型，是人工智能研究的一种方法，可以用电子线路来实现，也可以用计算机程序来模拟。1987年，P.K.Simpson将人工神经网络定义为一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且具有从不完整的或未知的输入中找到正确模式的功能。l988年，R.Hecht-Nielsen将人工神经网络定义为“处理单元的输出信号可以是任何需要的数学模型”，其中每个处理单元中进行的操作必须是完全局部的，也就是说，它必须仅仅依赖于经过输入连接到处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。在该定义中，他强调了人工神经网络的4个主要特点：

①并行、分布处理结构：②一个处理单元的输出对应有多个输入：③输出信号可以是任意的数学模型；④处理单元完全可以并行操作。l988年，D.E.Rumellhart、J.L.McClelland.

G.E.Hinton把人工神经网络定义为具有如下8个特性的网络：

(1)一组处理单元：

(2)处理单元的激活状态：

(3)每个处理单元的输出函数：

号

(4)处理单元之间的连接模式：

第

(5)传递规则：

(6)把处理单元的输入及当前状态结合起来产生激活值的激活规则；

(7)通过经验修改连接强度的学习规则：

绪

论

(8)系统运行的环境（样本集合）。

尽管这些定义不尽相同，但简单来说，人工神经网络就是以人工方法模拟人脑的信息处理机制与复杂功能的计算机器。人脑的信息处理机制与复杂功能是在漫长的进化过程中形成和完善的，虽然近年来在细胞和分子水平上关于脑结构和脑功能的研究已经有了长足的发展，但是到目前为止，人类对脑神经系统内如何利用电信号和化学信号来处理信息只有模糊的概念。因此，人工神经网络远不是人脑生物神经网络的真实写照，而只是对生物神经网络的一个极度简化、抽象与模拟的计算模型。尽管目前人类对大脑高级智能活动的机理和运作方法仍然处于一知半解的初期阶段，但这丝毫未影响科学家对重现人类智慧的渴望与热情。把分子和细胞技术所达到的微观层次与行为研究所达到的系统层次相结合，来形成对人脑神经网络的基本认识，在此基础上已经获得了上百种人工神经网络模型。它

们不仅反映出人脑的许多基本特性，而且在模式识别、系统辨识、信号处理、自动控制、组合优化、预测预估、故障诊断、医学与经济学等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出良好的智能特性和潜在的应用前景。

1.1.4脑认知工程

目前，脑认知与计算神经科学的发展在很大程度上得益于Sloan和Swartz基金会的远见卓识和长期支持。在美国，当脑认知与计算神经在20世纪90年代初刚刚兴起时，Sloan基金会就建立了5个Sloan理论神经生物学研究中心（分别在Brandeis、Caltech、NYU、UCSF和Salk Institute)。Swartz基金会扮演了类似的角色，建立了几个新的研究中心，目

代

前全世界共有十多个Sloan-Swartz研究中心。各中心里有很多脑认知和计算神经领域的理论科学家，同时又有一定比例的实验科学家。从2004年开始，美国国立卫生研究院和国家

经

科学基金会联合建立了“CRCNS(Collaborative Research in Computational Neuroscience)项目”，支持计算神经科学，以有计划地促进实验和理论科学家之间的协作。多年来，Sloan-

Swartz研究中心更是培训了大量的有物理学或其他计算科学领域背景的研究生和博士后，

络

帮助他们成功地转人了计算神经科学领域。据H.Cohen博士介绍，103名这样的受训者现在已经在美国和欧洲各国担任教职，很多Sloan-Swartz研究中心的学员又成了实验科学

程

家，在脑认知的工程实现上作出了巨大的贡献。Sloan-Swartz研究中心的运行模式在欧洲得到了成功的推广。德国神经科学家和物理学家建立了国家计算神经科学伯恩斯坦网络，他们说服了德国政府承诺出资1亿欧元支持4个研究中心（分别在Munich、Berlin、

Freiburg和Gottingen).以及一些小型的Bernstein小组（一些小组特别致力于脑认知与神经科学工程技术)。与Sloan-Swartz研究中心不同，一个Bernstein研究中心可以包括多个研究所。例如，Gottingen的Bernstein研究中心是在Gottingen的4个研究所的合作机构，包括Georg-August大学、德国灵长类研究中心、Max Planck动力学和自组织研究所以及

Max Planck生物物理化学研究所。

随着微电子、通信、计算机、控制和图像处理等学科的突飞猛进，高性能的计算设备为脑认知的工程实现奠定了基础。由神经学家和机器人专家组成的国际研究小组认为研发个具备智能性、灵活性和敏感性机器人的最好方法就是模拟人类的身体和大脑。在日本的

理化所(RIKEN),大脑建模是他们“下一代超级计算机研究与开发中心”的一个重要任务。

在瑞士EPFL、美国IBM Almaden研究中心以及加拿大Rotman研究所，正在发展几个“全脑模型模拟”方案。欧盟也有“虚拟（计算机模拟）的生理人”项目。2008年2月，美国国家工程院发表了用工程方法重建人脑的重大挑战书，标志着作为开发下一代智能机器人平台的脑计算机仿真开始受到人们的广泛关注。IBM和DARPA(Defense Advanced Research

Projects Agency)目前都积极地投入到这项研究中。欧盟也有“幼兽机器人”(RobotCub)大计划，以脑科学为基础发展智能机器人。在2009年举办的有关“幻想的计算机”的Kvli研

···试读结束···