序列分层制度的记忆

作者:Oleg Alexandrovich Serebrennikov
简介

这个论文基于序列对象相互接触的概念,此概念作为外部世界规律的表现,根据这些规律对象仅遵循这些定律预定的顺序,本论文还基于以及Jerome Lettwin关于用大脑皮层的单个神经元("祖母细胞")编码物体的假设。在此工作范围内我提出了并研究了无编号序列的分层记忆的数学模型。我还提出了并研究了新一代神经网络的体系结构,以及基于序列分层记忆模型的强人工智能人工神经元的设计。该研究结果表明,这样的神经网络不仅可以记忆,而且可以从记忆中检索未编号(未索引)的序列,还能够预测序列中下列物体的外观,这与Jeff Hawkins首先制定的"高级图灵测试"相对应。这项工作还表明,产生预测的过程是由干扰引起的,此干扰很像专家在大脑皮质上所观察到的神经元激发波的干扰。我们研究了序列上下文的变化,并提出了和研究了原始序列循环压缩成上下文序列的模型,作为序列记忆分层的下一级序列。我开发的神经网络能够同时研究、存储和检索任何性质的对象序列(听觉、可见、触觉和任何其他感觉数据序列),通过同步在任何维度上(在时间、空间或任何其他测量尺度,包括一定的情感和道德维度)链接这些序列。按照近似形成点和和特定测量尺度的长度的连续上下文的同步可以将不同性质的序列彼此组合(例如,将猫的视觉序列与猫喵的可听序列相关联)。我还提出了一种监测和控制机器人意识状态及其偏差的解决方案,这可以迫使机器人遵循既定的情感和道德标准。

下列是此研究的简介。

序列记忆

概念

大脑是一个黑盒子,它接收与外部世界中观察到的物体和事件序列相对应的感官数据序列,而外部世界的规律表现在这些物体和事件在序列中联合出现的频率和顺序。一些对象联合出现的频率越高将来这些对象一起出现的概率相越高,而出现的顺序则意味着因果关系:先是原因,然后是效果。这样一来,序列记忆是序列构建定律的表现模型,这种模型考虑序列中各个对象的联合出现和这种出现的方向,就是对象之间的因果关系。在研究观察到的序列的实例后,序列记忆应该能够基于该序列的已知道的部分和先前观察到的序列中的对象出现的统计来预测序列的可能延续。该研究的最初目标是开发一种序列记忆结构,此结果应该根据频率和顺序做预测。



序列记忆模型

由于大脑能够处理各类型的序列,因此可以用文本序列研究序列记忆的操作。我们使用杰罗姆·莱特温(Jerome Lettwin)关于单个现实对象的皮质(所谓的"祖母细胞")的单个神经元编码的假设。根据这个假设,各种现实对象可以由单独的"祖母细胞"- 皮层神经元显示,并且一个特定对象(焦点对象)与其他对象(频率对象)的出现将由连接焦点对象的"祖母细胞"的树突和轴突与"祖母"显示,这些树突和轴突把焦点对象的"祖母细胞"与频率对象的"祖母细胞"连接。序列中这样的一对对象的联合出现的意义将对应于连接这些树突或轴突的"祖母的细胞"的"厚度",这取决于发生的方向:直接或反向。

现在我们为"tiger"这个词建立"祖母的细胞"的模型。为此,将单词"TIGER"放在中心(焦点对象),然后查找包含单词"tiger"的所有句子,并通过单词"tiger"将这些句子写成一些角位移,以句子做一个圆圈:

图 1
您可以看到:"tiger"这个词的图片很像神经元。由于树突起着神经元"输入"的作用,而轴突起着"输出"的作用,我们模型中树突是同"tiger"这个词之前的所有单词的连接,轴突是同"tiger"这个词之后单词的连接。研究"tiger"这个词创建的连接模型,我们很快就会发现像"cat"(猫)或"forest"(森林)或"stripedorangefur"(条纹红色皮肤)这样的词比其他词更常见。因此,"tiger"和具有这种频率词的联合出现的意义会高于其他词。再谈观察到的序列(在视觉,听觉等方面)中的因果关系的表现,可以说,例如,观察到的序列中的老虎对受害者的攻击之前是受害者和老虎的出现。
序列记忆对象的独一无二的表示

如果语言的每个单词(频率词)被指定焦点词的联合出现的意义,那所有这些意义的集合毫无疑问地标识焦点词,并且意义前面的"+"或"- "符号可以表示时间的方向,其中"+"表示未来(频率字在焦点之后),"- "是过去(频率字在焦点之前)。因此,序列记忆的每个焦点词可以有多数加意义因子(通过过去的多数和未来的多数)独一无二的表示、焦点词与所有独特"频率"词的连接。

我们可以看到,序列记忆模型优于感知器模型(现代神经网络的人工神经元),因为序列记忆由被识别的"祖母细胞"组成,序列记忆模型中的神经链接意义对应于联合出现的统计意义,并提供与现实的"向后兼容性",有使用记忆恢复序列的能力。与序列记忆不同,在感知器训练模型中,没有识别的神经元编码特定的对象或动作,并且神经连接意义由反向传播方法分配,因此,神经元意义与现实没有明显的关系,不能保证现实的反向对应,因此不能保证完整神经网络结果的可预测性。没有必要补充说,作为应用组成文本句子的规则统计的文本序列的内存创建模型将会正确地编写句子并预测这些句子的可能的延续。为了模拟人类感受到的真实世界,我们需要为每个人的感觉创建一个单独的序列记忆片段,并使这些片段彼此同步。


记忆序列中分析的复杂性

为了语言中的每对单词的相互出现的意义研究可以使用语言中所有单词的(N* N) = N2的表。在这样的表的对角线上,放在相应单词的自身出现的意义,并且在相对于对角线对称的单元中,放在该语言中每对单词的出现的ω1直线和ω2反线反的意义。显然,ω1 /ω2的比率确定发生的反转,并且与1相比,反转值越大或越小,其中一个单词在序列中先于另一个单词的概率越高。这可以被认为是编写有关语言句子的规则的因果关系。如果我们想调查三个单词的相互出现,我们需要一个三次方程的(N* N* N) = N3单词等等,从语言的所有N个独特单词中研究语言的每个R单词的相互出现的复杂性将与N度R成比例,那就是NR。同时,序列记忆中单词相互出现的分析的计算复杂性仅随着R的增加而线性增加。

焦点对象的完整和等级群集

现在我们去掉所有通过"tiger"这个单词的文本(图1):在"tiger"这个词之前和之后把每个+ R单词放在"tiger"之后的右边和每个- "tiger"的单词放在"tiger"一词的左侧(图2)。

图 2
从图2中可以看出,我们得到了两个半径为R的半圆- "过去"(-R)的半圆和"未来"(+ R)的半圆。这个圆圈仅是通过"tiger"这一词的一组文本片段的二维图示(图1)。如果用三维,那我们会有以两个半球组成的球体- "过去"的半球和"未来"的半球(US9679002B2和RU2459242)。我们将"过去"的R-簇称为包含在"过去"Ktiger,-R的半球中的一组频率词,并将包含在"未来"Ktiger,-R的半球中的频率词集称为"未来"的R群集。每个焦点对象的未来/过去的完整R群集包含焦点对象的联合出现的权重与位于R球中的"未来"或"过去"的对应唯一频率对象。

显然,任何焦点CF对象的每个R-集群KC,R都可以表示为CF对象的"秩集群"的总和,其等级从1到R:
其中,每个等级"i"的集群包括与焦点对象等距的R集群的所有频率对象,即,通过序列对象与焦点对象(i-1)分离的频率对象。

意识状态

现在可以通过将所有N个唯一序列对象的集合中的每个唯一CF对象与其秩1的秩集合相关联来创建集群的"基本集合"。可以看到,任何唯一CF对象的未来KC,R以及过去KC,-R的任何R群集可以看为来自基本集合的第一等级的群集的组合。

现在让我们教导机器人人工智能不良行为,以便识别与人工智能学到的每个不良行为相对应的基本签名集的子集。

这为预测机器人心灵中可能有害的变化开辟道路,使其能够完全控制自己的思维,并在检测到有害学习的特征时随时将机器人的思维恢复到"安全"的意识状态。


预测技术

集群的干扰技术是大脑皮层中激发波干扰的类比,这使我们能够模拟大脑皮层中的波动过程。

使用这种序列的已知对象的相干秩集群的干涉,也可以容易地创建用于预测特定序列的新对象出现的方法。用并行秩集群的干扰可以找到平行含义(广义上的同义词)等,对秩集群的分析可以做更多。


分层序列记忆

对输入序列的物体集群的总意义的波动的研究表明,最大总意义与序列的当前上下文改变的时刻一致。这些连续的总意义的峰形成表示下一级记忆序列的序列。合成唯一对象的创建并为其分配与下一个峰对应的集群可以转到有序列记忆中下一级对象的合成对象序列,从而创建序列记忆的复杂层次结构。

回到大脑皮层

在所提出的序列记忆模型和大脑皮层之间进行类比,可以假设原始序列的对象可以由位于内部颗粒层中的"祖母细胞"编码,而这些人造的对象可以使用外部颗粒层的细胞进行编码。显然,锥体神经元外层中的每个锥体神经元可以起到位于内部颗粒层中的某组"祖母细胞"的意义加法器的作用,并且如果被激活,它将尖峰发送到位于外部颗粒层中的特定神经元。由外部金字塔层和外部颗粒层的两个相互连接的神经元组成的一列神经元可以是"无声细胞"(这个名称是1986年Vyacheslav Shvyrkov起的)连接到位于内部颗粒层中的"祖母细胞"集群。这对"无声细胞"只在有当内颗粒层的"祖母细胞"集群的总活性超过锥体神经外锥体层的加法器的激活阈值时情况下才激活

神经形态芯片设计

在研究的范围内我们还开发了一种用于序列分层记忆的主要模拟神经芯片的原始架构,其能量效率预计将好几倍超过现有神经芯片。微电路能够同时处理不同性质的对象序列,并且能够通过同步测量来连接所有输入序列而不管其性质如何,包括情绪、道德标准、线性和角度测量、时间、场强度以及其他任何可测量的现象。由此,微电路可以存储和检索在至少一个维度上具有相当的圆形长度和形成点的所有类型的"同步"序列。

结果

基本集合在任何时候是序列记忆的"意识状态",因此,可以控制"意识状态"与参考状态的偏差,并调整使用序列记忆设计的机器人的意识。在秩集群上执行集合论和线性代数的运算使我们能够预测序列中新对象的出现,确定同义词等等。所介绍的基本集合的表示最终证实了所谓的"祖母的细胞"假设的有效性(请看比尔克林顿的神经元、詹妮弗安妮斯顿的神经元)。这还证明"祖母的细胞"能够在大脑皮层中形成序列记忆。序列中唯一对象的联合出现的意义本质上是统计的,并且应该表示人工神经网络的神经链接的意义。误差反向传播方法广泛用于确定现有神经网络中神经连接的意义,包括卷积方法,不能支持编码"祖母的细胞"来构建序列记忆,因此,现有的神经网络在每种具体的情况下都可能无法正常工作。产生结论的过程显然是在序列记忆层次结构的不同级别搜索因果关系的过程。

学习序列记忆的过程是更新每对独特对象(神经元)的相互发生的意义的过程,因此序列记忆是无限的,尽管其受到人们倾向于称为"智慧"的饱和度的影响。

使用传统方法研究来自所有N个唯一序列对象的集合中的任何R个唯一对象的相互出现可以使计算复杂度成比例,而序列记忆提供与R成比例的计算复杂度。结果还表明,完全连接的神经网络层中的人工神经元的现代设计可能是不完整的,因为缺乏神经元与序列记忆层级中的前一层神经元的反馈。
参考书目

[1] "On Intelligence", Jeff Hawkins & Sandra Blakeslee, ISBN 0-8050-7456-2

[2] "Hierarchical Temporal Memory", Jeff Hawkins & Dileep George, Numenta Corp.

[3] Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation (https://arxiv.org/abs/1611.04558 и русский вариант https://m.geektimes.ru/post/282976/)

[4] «Why your brain has a Jennifer Aniston cell'»https://www.newscientist.com/article/dn7567-why-your-brain-has-a-jennifer-aniston-cell/

[5] «Compression and Reflection of Visually Evoked Cortical Waves» (https://www.researchgate.net/publication/6226590_Compression_and_Reflection_of_Visually_Evoked_Cortical_Waves)

[6] Christopher Olah, 2014, (http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/)

[7] Luong et al. (2013) (https://nlp.stanford.edu/~lmthang/data/papers/conll13_morpho.pdf)

[8]http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/

[9] Алексей Редозубов, «Логика эмоций»http://www.aboutbrain.ru/wp-content/plugins/download-monitor/download.php?id=6


作者
Oleg Serebrennikov (https://www.linkedin.com/in/serebrennikov/) 是金融科技、互联网和人工智能领域的连续企业家和发明家。

相关的获得的专利号码是US9679002B2和RU2459242。现在新的PCT专利正在申请中。

序列分层制度记忆是对下一代人工智能(一种强大的人工智能)的神经网络发展改变规则的一种概念。如果您对此和我一样感兴趣,并希望成为我们团队人员或投资者加入我们的项目,那请随时和我联系。谢谢!

Made on
Tilda