8.计算是对激活层次和连接权值的算法操作

注释

［1］对之更早的阐述可以在James（1980）中找到。

［2］在一特定组群中，丢失任何两个神经元的概率是千万分之一——这是不太可能的。

【思考题】

基本概念和术语

单元的三个功能部分是什么？

什么是“群收”和“群发”？

工作网络的编程是指什么？

是什么“净”激活传递规则？

什么是“输入矢量”？

什么是“输出矢量”？

上面两个术语是关于什么的计算？

给定某一工作网络和输入矢量，运用（N）计算它的输出矢量。

工作网络如何调整缺省输入？

单个工作网络如何运行多于一种的联结样式？

学习和训练

学习的主要类型有哪些？

什么是赫伯学习规则（三个部分）？

给定某一工作网络、输入矢量和输出矢量，运用赫伯规则（h）计算权值分配。

给定某一工作网络、输入矢量和输出矢量，运用Delta规则（D）计算权值分配。

表征

什么是定位式表征？

什么是准分布式表征？

什么是（完全）分布式表征？

定位式表征具有的三个难题是什么？

分布式表征的优点是什么？

联结主义表征是如何关涉它们所关涉的事物的？

一般联结主义

一般联结主义机器的两个“静态”层面是什么？

一般联结主义机器的三个“动态”层面是什么？

工作网络如何储存现时知识？

工作网络如何储存命题知识？

【推荐读物】

概论

Schneider（1987）包含关于联结主义范式转换的介绍。Anderson（1995）是有关联结网络较好的研究导论。McClelland and Rumelhart（1988），以及Caudill and Butler（1993）是两本清晰和有益的导论性著作，并附有联结机器的模拟磁盘。其中，在Caudill and Butler（1993）第1卷中，涵盖了基本网络构成和训练的内容；在第2卷中，提到改进网络构成和训练的有关内容。新近出版的plunkett and Elman （1997），以及McLeod et al.（1998）中也附有模拟磁盘。McClelland and Rumelhart （1988），Levine （1991），Caudill and Butler （1993），以及McLeod et al.（1998）考察了各种联结结构，其中包含文中所讨论的问题。

基本概念

Feldman and Ballard（1982）是较早的关于联结主义的重要文献（人们普遍公认的）。迄今为止，或许是最有影响力的关于联结主义模式的导论，可见Rumelhart and McClelland（1986）第1卷第2章。该书对并行分布加工的一般结构以及基本概念有很好的阐述。Rumelhart（1989）对与这章相关的大部分内容有很好的概括。其他对联结主义基本内容有较好研究的，可见Wasserman（1989）第1章，Clark（1989）第5章，Churchland（1990），Quinlan（1991）第2章，Bechtel and Abrahamsen（1991）第1-3章，haberland（1994）第6章，Bechtel（1994），Stillings et al.（1995）第2.10节，以及Elman et al.（1996）第2章。虽然Ballard（1997）技术上的内容更多些，但仍有很多对我们有所帮助的细节。对递归网络及其语言更多的讨论，见Elman（1992）。

学习和训练

在Rumelhart and McClelland（1986a）第1卷中，第5章是有关竞争学习的内容，较好地介绍了学习类别，并作了具有重要影响的讨论；第8章是有关基于误差传播学习内部表征的内容，介绍了反向传播、广义Delta规则，具有重要的历史地位。hinton（1992）对主要的监督和无监督训练技术作了精练和权威性的考察。

相关数学

Rumelhart and McClelland（1986a）第9章对并行分布加工所涉及的相关线性代数内容作了深入介绍。其他相关的简短讨论，参见Wasserman（1989）附录B“矢量和矩阵运算”，Levine（1991）附录2“神经网络的积分和微分方程”，以及Caudill and Butler（1993）第1卷附录D。

表征

最早最有影响力的对分布式表征的介绍，可见Rumelhart and McClelland（1986a）第3章“分布式表征”。对于表征的神经生物基础的讨论，参见Nadel et al.（1986）和Feldman（1989）。Sterelny（1990）第8章对联结主义表征作了哲学讨论。更多的哲学视角的探讨参见Cussins（1990）。Smolensky（1990）是个简短而又具有权威性的总体评论。van Gelder（1991），Goschke and Koppelberg（1991），以及Ramsey（1992）中对联结主义表征作了批评性的评论。

文献选集

关于联结主义，具有代表性的文献选集主要有Nadel et al.（1989），Morris（1989），horgan and tienson（1991），Ramsey，Stich，and Rumelhart（1991），Dinsmore（1992），Davis（1992），Clark and Lutz（1995），以及MacDonald and MacDonald（1995）。