神经网络理论的发展与前沿问题(续)
2015/12/16 哲学园

     作者简介:刘永红,研究领域为神经网络理论、智能控制等.

     作者单位:武汉工业大学自动化系

     摘 要:系统地论述了神经网络理论发展的历史和现状,在此基础上,对其主要发展趋向和所涉及的前沿问题进行了阐述.文中还作了一定的评论,并提出了新的观点.

     关键词:神经网络理论,神经计算,进化计算,基于神经科学和数学的研究

     1989 年召开了全国一个非正式的神经网络会议, 1990 年我国的八个学会联合在北京召开了神 经网络首届学术大会,国内新闻媒体纷纷报道这一重大盛会,这是我国神经网络发展以及走 向世界的良好开端. 1991 年在南京召开了中国神经网络学术大会 ( 第二届 ) , 会上成立了中国 神经网络学会.我国“ 863 ”高技术研究计划和“攀登”计划于 1990 年批准了人工神经网络 的 3 项课题,自然科学基金和国防科技预研基地也都把神经网络的研究列入选题指南.许多 全国性学术年会和一些学术刊物把神经网络理论及应用方面的论文列为重点.这些毫无疑问 ,为神经网络在我国发展创造了良好的条件,促使我们加快步伐缩短我国在这个领域的差距 . INNS 开始重视我国,把 1992 年国际神经网络学会、 IEEE 神经网络委员主办的国际性学术 会议 IJCNN 定在北京召开.

     1988 年 Chua 和 Yang 提出了细胞神经网络 (CNN) 模型[ 44 , 45 ],它是一个大规模 非线性计算机仿真系统,具有细胞自动机的动力学特征.它的出现对神经网络理论的发展产 生了很大的影响.另外, Kosko 建立了双向联想存储模型 (BAM) [ 46 ~ 48 ],它具 有非监督学习能力,是一种实时学习和回忆模式,并建立了它的全局稳定性的动力学系统.

     Mead 是 VLSI 系统的创建者,他和 Conway 、 Mahowald 等人合作,研制一种动物神经系统的电 子电路模拟,即称硅神经系统.如,在一方阵中含几千个光敏单元的 VLSI 芯片,它是以人的 视网膜中锥体细胞的方式来连接一块 VLSI 芯片.对此,他在 1989 年出版了专著 Analog VLSI and Neural System Mead . Muhlenbein [ 49 , 50 ]提出了一种进化系统理论的形式模 型,是一种遗传神经网络模型. 其基本思想是来源于 Waddington 在 1974 年发表的论文 ,对基 因型与表型关系进行了描述. Aleksander [ 51 ]提出了概率逻辑基于 Markov chain 理论,对其收敛性、结构以及记忆容量等研究,为概率逻辑神经元网络的发展提供了新的方 法和途径.

     上述例证说明,这次高潮吸引了许多科学家来研究神经网络理论,优秀论著,重大成果如雨 后春笋,新生长的应用领域受到工程技术人员的极大赞赏.

     (5) 新发展阶段. 从神经网络理论的发展史看,它的高潮阶段是很容易度 过的. IJCNN91 大会主席 Rumelhart 意识到这一点,在他的开幕词中有一个观点,神经网络 的发展已到了一个转折的时期,它的范围正在不断扩大,其应用领域几乎包括各个方面.半 个世纪以来,这门学科的理论和技术基础已达到了一定规模,笔者认为,神经网络到了新发 展阶段,需要不断完善和突破,使其技术和应用得到有力的支持.

     90 年代初,对神经网络的发展产生了很大的影响是诺贝尔奖获得者 Edelman 提出了 Darwini sm 模型 ,其主要 3 种形式是 Darwinism Ⅰ、Ⅱ、Ⅲ.他建立了一种神经网络系统理论,例如 , Darwinism Ⅲ的结构,其组成包括输入阵列、 Darwin 网络和 Nallance 网络,并且这两个网 络是并行的,而它们又包含了不同功能的一些子网络.他采用了 Hebb 权值修正规则,当一定 的运动刺激模式作用后,系统通过进化,学会扫描和跟踪目标.该系统中关于群 (group) 的 作用,他早在 1984 年就阐述了,即神经模式的选择阶段是群限制、群选择和群竞争.

     1994 年廖晓昕[ 52 ]对细胞神经网络建立了新的数学理论与基础,得出了一系列结 果.如,耗散性、平衡位置的数目及表示,平衡态的全局稳定性、区域稳定性、周期解的存 在性和吸引性等.使这个领域取得了新的进展,他认为该理论有巨大的潜在应用前景,它还 有待以此为基础来发展系统.

     神经网络的光学方法,能充分发挥光学强大的互连能力和并行处理能力,提高神经网络实 现的规模,从而加强网络的自适应功能和学习功能,因此近来引起不少学者重视. Wunsch 在 90 OSA 年会提出一种 Annual Meeting ,用光电执行 ART ,它的主要计算强度由光学硬件完 成,光电 ART 单元的基本构件为双透镜组光学相关器,并采用光空间调节器完成二值纯相 位滤波和输入图象的二维 Fourier 变换,它的学习过程有自适应滤波和推理功能,可以把光 学有机组合在其中,具有快速和稳定的学习的特点,网络所需神经元数目大量减少,而且人 为调节参数也减少很多. 1995 年 Jenkins 等人[ 53 ]研究了光学神经网络 (PNN) ,建立 了光学二维并行互连与电子学混合的光学神经网络系统,实现了光学神经元,它是解决光学 实现相减和取阈问题的新动向.值得重视的是, 90 年代初, McAulay , Jewel 等许多学者致力 于电子俘获材料应用于光学神经网络的研究[ 54 , 55 ],在光存储等方面取得一定成 果,受到人们的关注.最近,阮昊等人采用他们研制的 Cas (Eu, Sm) 电子浮获材料实现 IPA( Interpattern Association) 和 Hopfield 等那些互联权重不变的神经网络模型[ 56 ] ,他们认为,采用这种方式还可实现如感知器等那些通过学习来改变互联权重的网络模型 .这些,对光学神经网络的发展起到很大的推动作用.

     对于不变性模式识别机制的理解,是对理论家的一大挑战,尤其是对于多目标的旋转不变 分类识别问题的研究,具有广泛的应用前景.最近,申金媛、母国光等人[ 57 ]提出 一种新方法,即基于联想存储级联 WTA 模型的旋转不变识别.当识别多个模式时就可联 想出一个模式,针对该问题,他们采用了全单极形式,对互连权重进行二值化截取,并把联 想存储模型与 WTA 模型级联起来,从而提高了存储容量和容错性,实现了多目标旋转不变分 类识别.他们选择四大类型飞行器作为仿真模拟,其方法可行和有效.

     此外, Haken 在 1991 年出版了一本论著 Synergetic and Cognition : A Top-Down Approac h to Neural Nets .他把协同学引入神经网络.正如他认为的,这是研究和设计神 经网络的一种新颖方法.在他的理论框架中,强调整体性,认知过程是自发模式形成的,并 断言:模式识别就是模式形成.他提出了一个猜测:感知发动机模式的形成问题可以绕开模 式识别.他仍在摸索着如何才能使这种方法识别情节性景象和处理多意模式.

     值得重视的是,吴佑寿等人[ 58 ]提出了一种激励函数可调的神 经网络模型,对神经网络理论的发展有重要意义.可以认为,先验知识不充分利用岂不可惜 ,但问题是先验知识有时不一定抓住了实质,存在一定局限性.因此,在设计激励函数可 调网络 (TAF) 时要谨慎.他们针对一个典型的模式分类难题,即双螺线问题来讨论 TAF 网 络的设计、激励函数的推导及其网络训练等,其实验结果表明这种网络方法的有效性和正确 性,尤其对一些可用数学描述的问题.另外,对模式识别中的手写汉字识别问题研究,有重 要的理论和应用价值.郝红卫和戴汝为[ 59 ]把统计识别方法与多层感知器网络综合 起来,他们提出了一种网络集成法,对 4 个不同手写汉字分类器进行集成.这个方法有一定 的推广性,对其它类似问题提供了一个范例. 90 年代,国内许多学者对 Hopfield 神经网络的 进一步研究很感兴趣,使它得到了一定的完善和发展.

     90 年代以来,人们较多地关注非线性系统的控制问题,通过神经网络方法来解决这类问题 ,已取得了突出的成果,它是一个重要的研究领域. 1990 年 Narendra 和 Parthasarathy 提出 了一种推广的动态神经网络系统及其连接权的学习算 法[ 60 ],它可表示非线性特性,增强了鲁棒性.他们给出了一种新的辨识与控制方 案,以 multilayer 网络与 recarrent 网络统一的模型描述非线性动态系统,并提出了动态 BP 参数在线调节方法.他们研究的是,假定对象为线性或非线性离散时间系统.有些学者对它 的学习算法计算量大和收敛速度慢进行了一定改进.值得重视的是,连续时间非线性动态系 统,如,仿射非线性系统可直接应用于广泛而真实的物理系统.值得一提的是,戴先中等人 [ 61 ]提出了连续非线性系统的神经网络α阶逆系统控制方法,他们一方 面用静态神经网络逼近静态非线性函数;另一方面用积分器或微分器来体现系统的动态特性 ,并结合线性系统理论和方法,从而构成一种满足系统要求的复合控制器.可以说,这种控 制策略具有一定代表性和启发性.

     Miller [ 62 ]等人基于 Albus 在 1975 年提出的小脑模型关节控制 器 (CMAC) ,研究了非线性动态系统控制问题,它具有局部逼近和修改权极小的 特点,可用于实时控制方面,但存在一个缺陷,即采用了间断超平面对非线性超曲的逼近, 有时出现精度不够,也有可能得不到相应的导数估计.这种方法一开始就被 Miller [ 63 ]成功地应用于商用机器人的实时动态轨迹的跟踪控制中. Touretzky 也成功应用于非 线性时间序列分析上. 1992 年 Lane [ 64 ]对它作了改进,他采用高阶 B- 样条,使逼 近超平面的光滑性更好,虽然计算量有所增加,但在容忍范围之内,逼近精度有一定提高. 1993 年 Bulsari [ 65 ]提出以乘积 Sigmoidal 函数作为激发函数,给出了非线性系统用 神经网络逼近的构造性描述,得到了节点数目的一个上界估计.最近,朱文革[ 66 ] 引入小波变换,并对其性质进行了分析.在 Lp 范数下,他也构造性证明了单个隐层前馈神 经网络逼近定理. 1997 年罗忠等人[ 67 ]对 CMAC 的收敛性以及 hash 编码对它的影响作 了矩阵分析和证明.另外,有些学者通过神经网络的训练来实现非线性系统的 状态反馈控制,其学习算法为非线性系统的学习控制提供了有效的方法.但它需要全状态反 馈信息,给实际应用带来了一定的困难,同时它的学习收敛速度还有待提高.

     Davis 在 1991 年编辑出版的 Handbook of Genetic Algorithms ,这本工具书对该领域的设 计和应用人员有很大的帮助.尤其是进化计算的概念在 1992 年形成,促进了这一理论的发展 . 1993 年诞生了国际性杂志 Evolutionary Computation .随后, IEEE 神经网络委员会定期召 开进化计算国际会议.近几年它成为一个热点研究领域. 1993 年 Yip 和 Pao 提出了一种带区域 指引的进化模拟退火算法,他们将进化策略引入区域指引,它经过选优过程,最终达到求解 问题的目的.近几年有些学者对它进行了改进,如,蔚承建等人[ 68 ]在随机搜索过 程中引入区域指引,并采用 Cauchy 变异替换 Gaussian 变异产生后代,使算法的可收敛性及其 速度有所提高.他们将这种方法成功的应用于转动圆桌平衡摆盘问题的求解.值得一提的是 , 1997 年张讲社等人[ 69 ]将 Markov 链表示遗传算法,并引进模拟退火的方法.还有 类似的混合法及其改进,如提高收敛速度,避免过早收敛,同时避免陷进局部极值的情况.

     必须指出,神经网络的计算复杂性分析具有重要意义.有些学者产生了极大兴趣,如 19 91 年 Hertz [ 70 ]探讨了神经计算理论; 1992 年 Anthony [ 71 ]出版了一本论著 Computational Learing Theory ; 1995 年阎平凡[ 72 ]讨论了神经网络的容量、推 广能力、学习性及其计算复杂性.可以说,这方面的理论成果越多,对应用的作用就越大.

     从上述各个阶段发展轨迹来看,神经网络理论有更强的数学性质和生物学特征,尤其是神经 科学、心理学和认识科学等方面提出一些重大问题,是向神经网络理论研究的新挑战,因而 也是它发展的最大机会. 90 年代神经网络理论日益变得更加外向,注视着自身与科学技术之 间的相互作用,不断产生具有重要意义的概念和方法,并形成良好的工具.

     3 发展趋向及前沿问题

     展望 21 世纪初,在近十年神经网络理论研究趋向的背景下,笔者认为神经网络理论的主要前 沿领域包括:

     (1) 对智能和机器关系问题的认识将进一步增长.

     研究人类智力一直是科学发展中最有意义,也是空前困难的挑战性问题.人脑是我们所知道 的唯一智能系统,它具有感知识别、学习、联想、记忆、推理等智能, 80 年代中期出现了“ 联结主义”的革命,或“并行分布处理 (PDP) ”,它又被普遍地称为神经网络,具有自学习 、自适应和自组织的特点,也是神经网络迫切需要增强的主要功能.进一步研究调节多层感 知器的算法,使建立的模型和学习算法成为适应性神经网络的有力工具,构建多层感知器与 自组织特征图级联想的复合网络,是增强网络解决实际问题能力的一个有效途径.重视联结 的可编程性问题和通用性问题的研究,从而促进智能科学的发展.我们通过不断探索人类智 能的本质以及联结机制,并用人工系统复现或部分复现,制造各种智能机器,这样,可使人 类有更多的时间和机会从事更为复杂、更富创造性的工作.

     智能的产生和变化经过了漫长的进化过程,我们对智能处理的新方法的灵感主要来自神经科 学,例如学习、记忆实质上是突触的功能,而海兔的小系统神经元是研究学习记忆突触机 制的天然模型,在细胞和分子水平上研究,为我们提供真正的实证.又如,人类大脑的前额 叶高度发育,它几乎占了 30% 大脑的表面积 ,在其附近形成了人类才出现的语言运动区,它与智能发育可能密切相关,使神经系统的发 育同环境的关系更加密切,脑的可塑性很大,能主动适应环境还能主动改造环境,人类向制 造智能工具方向迈进正是这种主动性的反映.事实上,脑的可塑期越长,经验对脑的影响就 越大,而人类的认知过程很大程度上不仅受经验主义的影响,而且还接受理性主义的模型和 解释.因此,对于智能和机器的关系,应该从进化的角度,把智能活动看成动态发展的过程,并合理的发挥经验的作用.同时还应该从环境与社会约束以及历史文化约束的角度加深对 它的理解与分析.

     神经网络是由大量处理单元组成的非线性、自适应、自组织系统,它是现代神经科学研究成 果的基础上提出的,试图模拟神经网络加工、记忆信息的方式,设计一种新的机器,使之具 有人脑风格的信息处理能力.智能理论所面对的课题来自“环境—问题—目的”,有极大的 诱惑力与压力,它的发展方向就将是,把基于联结主义的神经网络理论、基于符号主义的人 工智能专家系统理论和基于进化论的人工生命这三大研究领域,在共同追求的总目标下,自 发而有机的结合起来.在这里我们只想重复一下我们的信念并推测:在 21 世纪初,智能的机 器实现问题的研究将有新的进展和突破.

     (2) 神经计算和进化计算将有重大的发展.

     计算和算法是人类自古以来十分重视的研究领域,本世纪 30 年代,符号逻辑方面的研究非常 活跃.例如 Church 、 Kleene 、 Godel 、 Post 、 Turing 等数学家都给出了可计算性算法的精确 数学定义,对后来的计算和算法的发展影响很大. 50 年代数学家 Markov 发展了 Post 系统. 80 年代以后,神经网络理论在计算理论方面取得了引 人注目的成果,形成了神经计算和进化计算新概念,激起了许多理论家的强烈兴趣,如前所 述,大规模平行计算是对基于 Turing 机的离散符号理论的根本性的冲击,但 90 年代人们更多 的是批评的接受它,并将两者结合起来,近年来,神经计算和进化计算领域很活跃,有新的 发展动向,在从系统层次向细胞层次转化里,正在建立数学理论基础.随着人们不断探索新 的计算和算法,将推动计算理论向计算智能化方向发展,在 21 世纪人类将全面进入信息社会 ,对信息的获取、处理和传输问题;对网络路由优化问题;对数据安全和保密问题等等将有 新的要求,这些将成为社会运行的首要任务,因此,神经计算和进化计算与高速信息网络理 论联系将更加密切,并在计算机网络领域中发挥巨大的作用,例如,大范围计算机网络的自 组织功能实现就要进行进化计算.

     现有的一些神经网络模型并没有攻克组合爆炸问题,只是把计算量转交给了学习算法来完成 ,具体说,增加处理机数目一般不能明显增加近似求解的规模.可以说,有些神经网络模型 的计算 ( 学习 ) 时间与神经元有多少事实上关系不太大,却与学习的样本有明显的依赖关系. 值得注意的是,尽管采用大规模并行处理机是神经网络计算的重要特征,但我们还应寻找其 它有效方法,建立具有计算复杂性、网络容错性和坚韧性的计算理论.

     人类的思维方式正在转变:从线性思维转到非线性思维.神经元、神经网络都有非线性、非 局域性、非定常性、非凸性和混沌等特性,我们在计算智能的层次上研究非线性动力系统、 混 沌神经网络以及对神经网络的数理研究.进一步研究自适应性子波、非线性神经场的兴奋 模式、神经集团的宏观力学等.因为,非线性问题的研究是神经网络理论发展的一个最大 动力,也是它面临的最大挑战.此外,神经网络与各种控制方法有机结合具有很大发展前景 , 建模算法和控制系统的稳定性等研究仍为热点问题,而容忍控制、可塑性研究可能成为新的 热点问题.开展进化并行算法的稳定性分析及误差估计方面的研究将会促进进化计算的发展 .把学习性并行算法与计算复杂性联系起 来,必须分析这些网络模型的计算复杂性以及正确性,从而确定计算是否经济合理.关注神 经信息处理和脑能量两个方面以及它们的综合分析研究的最新动态,吸收当代脑构象等各种 新技术和新方法.例如, 在 1994 年 Science 杂志上,生物化学家 Adleman 发表了 一篇论文: Molecular Computation of Solutions to Combinatorial Problems , 他采用 超并行的 DNA 求解组合问题,他是 DNA 计算的创建者之一 ,随后,他制造的超并行 DNA 计算机 T T-100 取得了技术上的突破.这一具有重大价值的理论和方法,是对 NP 完全问题和数据加密 标准系统等发起了最猛烈的攻击.因此,神经网络在 DNA 序列分析上的应用会更受人们的关 注.

     很明显,离散符号计算、神经计算和进化计算相互促进.从道理上说,也许最终导致这 3 种 计算统一起来,这算得上是我们回避不了的一个重大难题.预计在 21 世纪初,关于这个领域 的研究会产生新的概念和方法.尤其是视觉计算方面会得到充分地发展.我们应当抓住这个 机会,力求取得重大意义的理论和应用成果.

     (3) 神经网络结构和神经元芯片的作用将不断扩大.

     神经网络结构的研究是神经网络的实现以及成功地实现应用的前提,又是优越的物理前提. 它体现了算法和结构的统一,是硬件和软件的混合体,这种硬软混合结构模型可以为意识的 作用和基本机制提供解释.未来的研究主要是针对信息处理功能体,将系统、结构、电路、 器件和材料等方面的知识有机结合起来,建构有关的新概念和新技术,如,结晶功能体、最 子效应功能体、高分子功能体等.在硬件实现上,研究材料的结构和组织,使它具有自然地 进行信息处理的能力,如,神经元系统、自组织系统等.目前有些学者正在研究从硬件技术 到应用之间的映射理论,将会出现一些新的方法.

     神经计算机的主要特征是具有并行分布式处理、学习功能,这是一种提高计算性能的有效途 径,使计算机的功能向智能化发展,与人的大脑的功能相似,并具有专家的特点,比普通人 的反应更敏捷,思考更周密.光学神经计算机具有神经元之间的连接不仅数量巨大而且结合 强度可以动态控制,因为光波的传播无交叉失真,传播容量大,并可能实现超高速运算,这 是一个重要 的发展领域,其基础科学涉及到激光物理学、非线性光学、光紊乱现象分析等,这些与神 经网络之间在数学构造上存在着类似性.近年来,人们采用交叉光互连技术,保证了它们之 间 没有串扰,它有着广阔的发展前景.在技术上主要有超高速、大规模的光连接问题和学习 的 收敛以及稳定性问题,可望使之得到突破性进展;另一种是采用 LSI 技术制作硅神经芯片, 以及二维 VLSI 技术用于处理具有局部和规则连接问题.在未来一、二十年里半导体神经网络 芯片仍将是智能计算机 硬件的主要载体,而大量的神经元器件,如何实现互不干扰的高密度、高交叉互连,这个问 题可望尽早得到解决.此外,生物器件的研究正处于探索之中,研究这种模型的理论根据是 ,当硅集成块和元件间的距离如果接近 0.01 微米时,电子从邻近元件逸入的概率将很有限, 便产生“隧道效应”的现象,它是高集成电路块工作不可靠的原因之一.而生物芯片由于元 件是分子大小的,其包装密度可成数量级增加,它的信号传播方式是孤电子,将不会有损耗 ,并且几乎不产生热.因此,它有更诱人的前景.随着大量神经计算机和神经元芯片应用于 高科技领域,给神经网络理论和方法赋予新的内容,同时也会提出一些新的理论课题 ,这 是神经网络迅速发展的一个动力.

     4 结束语

     近年来,我国“ 863 ”计划、攻关计划、“攀登”计划和国家自然科学基金等,都对神经网 络的研究给予了资助,吸引了大量的优秀青年人才从事神经网络领域的研究工作,促进我国 在这个领域取得世界上的领先地位.

     由于神经网络学科的范围很广泛,本文只能在那些有发展前途的领域中,在联结主义提供的 各种机会中,列举出少数几个方向,并作出推测.应该说明的是,除了上述列举的以外,还 有形形色色的、规模可观的研究工作正在进行.总之,在 21 世纪科学技术发展征程中,神经 网络理论的发展将与日俱增.

    

     参考文献

     1 McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous

     Activity, Bulletin of Mathematical Biophysics, 1943, (5):115 ~ 133

     2 N. 维纳著,郝季仁译,控制论,科学出版, 1985

     3 Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in

     Behavior; The Hixon Sympsium, 1951

     4 Turing A M. On Computable Numbers, with an Application to the Entscheidungs

     problem, Proc. London Math. Soc., 1936, 2(42):230 ~ 265; (43):544 ~ 546

     5 Turing A M. Systems of Logic Based on Ordinals, Proc. London Math. Soc., 19 39,2

     (45):161 ~ 228

     6 Post E L. Finite Combinatory Process-formulation I, J.Symbolic Logic, 1936,(1):103 ~ 105

     7 Hebb D O. The Organization of Behavior, New York:Wiley, 1949

     8 Eccles J C. Cholinergic and Inhibitory Synapses in A Pathway from Motor-axon

     Collaterals to Motorneurones, J.Physiol., 1954,(126):524

     9 Rosenblatt, F., The Perceptron: A Probabilistic Model for Information storage

     and Organization in The Brain. Psychological Review, 1958, (65):386 ~ 408

     10 Widrow B, M E Hoff. Adaptive Switching Circuits. 1960 IRE WESCON con vertion

     record: part 4. computers: Man-machine Systems, Los Angeles:96 ~ 104

     11 Rosenblatt F. Principles of Neurody Namics: Perceptrons and The Theory of Brain

     Mechanisms, Spartan, New York, 1962

     12 Grossberg S. On the Serial Learning of Lists, Math. Biosci., 1969,(4):201 ~ 253

     13 Grossberg S. Some Networks that Can Lean, Remenber, and Reproduce any Number of

     Compialted Space-time Patterns, Ⅱ , stud. Appl. Math. 1970,(49):135 ~ 166

     14 Willshaw D J, Buneman O P. Longuest-higgins, H.C Nature 1969,(222):960

     15 Nilsson N J. Learning Machines: Foundations of Trainuble Pattern Classifying

     Systems, McGraw-hill, New York,1965

     16 Holland J H. Genetic Algorithms and the Optimal Allocations of Trials, SIAM

     Journal of Computing, 1973,(2):88 ~ 105

     17 Holland J H. Adaptation in Natural and Artificial Systems, Ann Arbor: The

     University of Michigan Press, 1975

     18 Stein R B, Leung K V, Mangeron D, Oguztoreli M N. Improved Neuronal Model s for

     Studying Neural Networks, Kybernetik, 1974,(15):1 ~ 9

     19 Heiden U. an der, Existence of Periodic Solutions of a Nerve Equation, Biol .

     Cybern., 1976,(21):37 ~ 39

     20 Grossberg S. Aaptive Pattern Classification and Universal Recoding: Part I :

     Parallel Development and Coding of Neural Feature Detectors, Biological Cybern

     etics, 1976,(23):121 ~ 134

     21 Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the

     Behavioral Sciences. Ph D Dissertation, Harvard University,1974

     22 Fukushima K. Neocognitron: A Self-organizing Multilayered Neural Network.

     Biological Cybernetics, 1980,(36):193 ~ 202

     23 Amari. S-I., Characteristics of Random Nets of Analog Neuron-like Elements ,IEEE Transactions on Systems, Man and Cybernetics, 1972a, SMC-2:643 ~ 657

     24 Kohonen T. Automatic formation of Topological Maps in Self-orgnizing Systems:

     Proceedings of the 2nd Scandinavian Conf. on Image Analysis, 1981:214 ~ 220

     25 Kohonen T. Self-organizing formation of Topologically Correct Feature Maps ,Biol. Cybern. 1982,(43):59 ~ 69

     26 Kohonen T. Self-organization and Associative Memory. Berlin: Springer-Verlag,1984

     27 Hopfield J J. Neural Networks and Physical Systems with Emergent Collective

     Computational Abilities, Proc. Natl. Acad. Sci., USA, 1982,(79):2254 ~ 2558

     28 Marr D. Vision, San Francisco: W.H.Freeman, 1982

     29 Hopfield J J. Neurons with Graded Respone have Collective Computational Pr

     operties Like those of Twostate Neurons, Proc. Natl, Acad. Sci., 1984,(81):3088

     ~ 3092

     30 Hopfield J J, Tank D W. Neural Computation of Decisions in Optimization Prob

     lems, Biol. Cybern. 1985,(52):141 ~ 152

     31 Hopfield J J, Tank D W. Computing with Neural Circuits: A Model, Scien ce, 1986,(233):625 ~ 633

     32 Lee Y C. Physica 22D, 1986,86.,276

     33 Lapedes A. Physica 22D,1986,247

     34 Kirkpatrick S, Gellat Jr C D, Veechi M P. Optimization by Simulated An nealing.

     Science, 1983,220(4598):671 ~ 681

     35 Hinton G E, Sejuowski T J, Ackley D H. Boltzmann Machiues: Cotraint Satisfaction

     Networks that Learn, Carnegie-Mellon University, Tech, Report CMU-CS -84-119,1984

     36 Ackley D, Hinton G, Sejnowski T. A Learning Algorithm for Boltzmann machines.

     Cognitive Science, 1985,(9):147 ~ 169

     37 Sejnowski T. Higher Order Boltzmann Machines. In: Denker J ed. AIP Conf

     Prpoceeding 151:Neural Networks for Comptuing, New Youk: American Institute of

     Phys ics, 1986,398 ~ 403

     38 Poggio T, et al. An analog model of Computation for Ill-posed Problems of Early

     Vision. Artif Intell Lab Memo, 783,MIT, 1984

     39 Poggio T, et al. Computational Vision and Regularization Theory. Neture (Lond),1985,(3):314 ~ 319

     40 Hecht-Nielsen, R., The Theory of Backpropagation Neural Network, In Review, 1988

     41 钱学森 ( 主编 ) , 关于思维科学,上海人民出版社, 1986

     42 姚国正,汪云九,神经网络的集合运算,信息与控制, 1989 , 18(2) : 31 ~ 40

     43 斯华龄[美],电脑人脑化:神经网络—第六代计算机 ( 普及本 ) ,北京大学出版社, 19 92

     44 Chua L O, Yang L. Cellular Neural Networks: Theory. IEEE Transactions on

     Circuits and Systems, 1988,(35):1257 ~ 1272

     45 Chua L O, Yang L. Cellular Neural Networks: Application, IEEE Transactions on

     Circuits and Systems 1988, (35):1273 ~ 1290

     46 Kosko B. Adaptive Bidirectional Associative Memories, Appl. Opt., 1987,26

     (23):4947 ~ 4860

     47 Kosko B. Constructing an Associative Memory, Byte, 1987,12(10):1 37 ~ 144

     48 Kosko B. Bidirectional Associative Memories, IEEE Trans. on Man, Systems and

     Cybernitics, 1988,(18):49 ~ 59

     49 Muhlenbein H. Parallel Genetic Algorithms, Population Genetics and Combina

     torial Optimization, in J.D.Schaffer, Ed. Proceedings of the Third International

     Conference on Genetic Algorithms (ICGA), 1989,416 ~ 421

     50 Muhlenbein H. Limitations of Multi-layer Perceptron Networks-steps Towards

     Genetic Neural Networks, Parallel Computing, 1990,(14):249 ~ 260

     51 Aleksander I. The Logic of Connectionist Systems, Neural Computing Archite

     ctures, MIT Press, 1989

     52 廖晓昕 . 细胞神经网络的数学理论 ( Ⅰ ) 、 ( Ⅱ ), 中国科学 (A 辑 ) , 1994 , 24 (9) : 902 ~ 910 ;

     24(10) : 1037 ~ 1046

     53 Jenkins B K, A R Tanguay. Jr. Optical Architectures for Neural Network

     Implementation, Handbook of Neural Computing and Neural Networks, MIT Press,Bosto n, 1995:673 ~ 677

     54 McAulay A D, Wang J, Ma C. Optical Heteroassociative Memory Using Spatial Light

     Rebroadcasters. Appl, Opt., 1990,29(14):2067 ~ 2073

     55 Jewel J L, Lee Y H, Scherer A, et al. Surface Emitting Microlasers for Photonic

     Switching and Interclip Connection. Opt. Eng., 1990,29(3):2 10 ~ 214

     56 阮昊,陈述春,戴凤妹,千福熹 . 利用电子俘获材料实现光学 IPA 神经网络模型,光学学报 ,1997 , 17(6) : 766 ~ 771

     57 申金媛,常胜江,张延火斤,母国光 . 基于联想存储级 联 WTA 模型的旋转不变识别,光学学

     报, 1997 , 17(10) : 1352 ~ 1356

     58 吴佑寿,赵明生,丁晓青 . 一种激励函数可调的新人工神经网络及应用,中国科学 (E 辑 ) ,1997 , 27(1) : 55 ~ 60

     59 郝红卫,戴汝为 . 集成手写汉字识别方法与系统,中国科学 (E 辑 ) , 1997 , 27(16) : 556 ~

     559

     60 Narendra K, Parthasarathy K. Identification and Control of Dynamical Systems

     Using Neural Networks. IEEE Trans on Neural Networks, Mar.1990,1(1):4 ~ 27

     61 戴先中,刘军,冯纯伯 . 连续非线性系统的神经网络α阶逆系统控制方法,自动化学报 ,1998 , 24(4) : 463 ~ 468

     62 Miller W T. Real-time Application of Neural Networks for Sensor-based Control

     of Robots. with Vision, IEEE, Trans. Syst., Man, Cybern., 1989,(19):825 ~ 831

     63 Miller T W, et al. (Eds), Neural Networks for Control, Cambridge, MA, MIT Press,1990

     64 Lane S H, et al. Theory and Development of Higher Order CMAC Neural Ne tworks,in Special Issue on Neural Networks in Control Systems, (Antsaklis, P.J. ,Ed.),IEEE Control Systems Magazine 1992,12(2):23 ~ 30

     65 Bnlsari A. Some Analytical Solutions to the General Approximation Problem for

     Feedforward Neural Networks. Neural Networks 1993,(6):991 ~ 996

     66 朱文革 . 广义小波变换及其在人工神经网络中的应用,应用数学学报, 1997 , 20 (2)

     67 罗忠,谢永斌,朱重光 . CMAC 学习过程收敛性研究,自动化学报, 1997 , 23(4) : 455 ~ 461

     68 蔚承建,姚更生更生,何振 亚 . 改进的进化计算及其应用,自动化学报, 1998 , 24(2) :

     262 ~ 265

     69 张讲社,徐宗本,梁怡 . 整体退火遗传算法及其收敛充要条件,中国科学 (E 辑 ) , 1997 ,27(2) : 154 ~ 164

     70 Hertz J, et al. Introduction to Theory of Neural Compution. Sant Fee Complexity

     Science Series, 1991:156

     71 Anthony M, Biggs N. Computational Learning Theory. Combridge University Press,1992

     72 阎平凡 . 人工神经网络的容量、学习与计算复杂性,电子学报, 1995 , 23 (4) : 63 ~ 67

     73 钟义信,杨义先 . 中国神经网络首届学术大会论文集,北京, 1990

     74 焦李成 . 神经网络计算,西安电子科技大学出版社, 1993

     75 史忠植 . 神经计算,电子工业出版社, 1993

    http://www.duyihua.cn
返回 哲学园 返回首页 返回百拇医药