介绍我在github上公开的一个论文仓https://github.com/binxu986/DelfNet想法还很粗浅权当抛砖引玉了可以把问题和当前给的一套解决方案思路分开看欢迎讨论转发请注明出处作者大饼博士Githubhttps://github.com/binxu986/DelfNetCSDNhttps://xubin.blog.csdn.net/article/details/159056197 DelfNet - Deep Self-Organizing Neural Network对现有Transformer架构进行兼容性改进构造出能一定程度上表达时间维度t、深度、自组织特性的神经网络结构。希望通过多个实验方向的研究提升现有DNN训练和推理效率与精度同时也希望能为未来的神经网络架构设计提供一点点新的思路。✏️ 说明我会在业余时间、以个人名义在这个仓写一篇文章目前还只是draftenglish版本后续也会提供标题是“The fundamental idea of deep self-organizing neural networks”。我手上没有GPU硬件条件可以做大规模的实验。如果有人有兴趣一起合作基于本文的idea进行研究完成模型的训练和测试并做出任何结果都可以联系我: 188997452qq.com 或者通过github issues进行讨论。方法完全公开你可以和我一起讨论也可以自行验证/使用/修改/创新唯一的要求引用本项目的出处并在你的任何工作中进行说明给本项目点一个star分享你的研究方向、实验结果、或任何其它你想分享的内容。 寻找合作欢迎潜在的 Co-authors 联系与讨论、或自行验证后告知我共同推进DelfNet以下研究方向权重训练方法、增加参数约束、优化目标函数、激活函数的选择与设计等训练、推理效率优化包括软件实现、硬件加速等其他合作方式 代码实现实验论证 讨论启发方法✍️ 优化论文写作 绘制图片 其他⚠️ DNN 现存问题 训练问题问题描述 训练效率较低神经网络层之间没有直接的联动 梯度传播局限每一层的 dy 仅作用于当前层的权重️ 结构问题问题描述 网络过深大模型应该有足够大的参数量但并不一定需要这么多“独立的”参数层就好比人脑的深层结构也许并没有L80这么多层 缺乏局部信息交互神经元之间没有形成局部网络同一层内的神经元没有联系局部神经元之间没有进行充分的信息共享与竞争竞争应导致激活与抑制等不同效果。而例如 SOM(Self-organizing map)与 Hopfield 网络则强调了一组神经元内部的信息交换 ANN模型没有对时间t进行建模神经元只能进行一次瞬时处理就输出信息传递到其他神经元去了没有局部再处理的机会当然也许现有的模型是潜在地通过更多的layers 来模拟时间t的变化。那么我们为什么不显示地建模这一时间维度t呢 权重参数固化训练完成后权重参数是固化的无法体现生物对环境的适应能力 —— 比如快速反应、快速联想等。这里也许可以联系到大脑system1和system2系统的理论system1是快速反应system2是缓慢反应。现在的主流模型没有快慢的区别这在很多时候是非常低效浪费算力的 稀疏模型训练不易稀疏训练时只使用部分权重参数导致模型效果具有随机性有的好有的坏。这可能和前后层训练没有联动更新有关。参考彩票模型假设 lottery ticket hypothesis 推理问题问题描述 带宽瓶颈Decoding 需要每次都加载完整权重效率太低这个问题严重限制了当前 DNN 推理场景的应用效率 存储瓶颈模型参数都是独立的很难压缩导致存储成本很高这个问题在一些Edge设备上尤为突出 启发来源仅启发思考来源说明 SOM, Hopfield强调神经元内部信息交换 RNN可看作一种变相的神经元自影响结构 GNNGNN 强调了节点之间的信息交换 Transformer Circuits神经网络的电路研究稀疏路径 生物神经元激活或膜电位恢复后神经元本身发生了变化用于快速适应环境 人类训练效应通过训练对事物反应变快可能是激活了神经网络内的快速通道(?) 核心思想建模层内神经元之间的联系以实现自组织特性。通过增量参数表达实现跨block的参数联动更新。DelfNet 不可能解决上述所有问题但希望提供一种新的思路。详细可见论文正文部分 核心方案 簇级结构Cluster0 { Block0, Block1, …, Block4 } Cluster1 { Block5, Block6, …, Block9 } …Cluter表示一簇神经元可以看作是一个独立的神经网络功能区域或者看成是一层神经网络有独立更新的一批神经元簇内的神经元之间进行信息交换。继续沿用Block的概念是为了和Transformer Block概念相对应方便理解。如Cluster0中的Block0, Block1, … 表达了这一簇神经元随时间t的更新变化情况。当一个Block就是一个Cluster时就退化到原始的transformer结构了。 关键细节Delta Weight 增量神经网络用△ weight表达一个簇内的后序 Block 对前序 Block 权重的变化w0 w1 w0 △1 w2 w1 △2 w0 △1 △2 W3 w2 △3 w0 △1 △2 △3 …⭐ 核心优势总的参数量规模没有变化更新后序 Block 的变量时dy 会直接作用于前序 Block 的变量产生联动效果如果Δ \DeltaΔ很稀疏或者有规律变化就可能可以实现对参数的有效压缩以大幅缓解decoding带宽bound问题以及模型权重的存储问题。 模型假设待验证假设说明 △ 变化平滑△ 的变化不应该是随机、跳跃、完全自由的。Cluster内相邻的 △ 变化应该是平滑的 △ 稀疏性△ 可能是稀疏的。Block 之间的联动更新赋予了 △ 更容易被控制成稀疏的特性。△ 表示对输入信号的抑制或增强 △ 生成方式△ 可能受离线训练影响有机会建模每个神经元的不同特性有些神经元是一步瞬时完成计算快速响应而有些则需要更多时间步长来延迟响应。也可能受前序 Block 的输出影响Data-Dependent通过在线计算得到这种生成方式既保留权重参数自由度又不必离线保存对 decoding 推理场景开辟了新机会——部分参数在线生成缓解 bandwidth bound 问题注以上假设可能会对模型的性能产生影响需要在实验中验证。这些假设可能需要通过多个实验阶段来验证不一定都有效也不一定会同时生效。️ 后续研究方向由近及远阶段目标描述Phase 1 基础改造将 CNN/Transformer 改造成 DelfNet 形式完成训练。解决过程中遇到的问题Phase 2 约束研究研究Δ \DeltaΔ之间的平滑约束、稀疏约束等假设同等参数下做出 scaling law 更好的实验结果optimalPhase 3⚡ 稀疏压缩Δ \DeltaΔ高度稀疏可被特定稀疏压缩编码。推理时提前载入 w 和 压缩后的△解决部分带宽问题大幅提高 decoding 性能Phase 4 算存融合假设Δ \DeltaΔ由 data 产生以算代存缓解参数固化的缺陷模拟生物神经元对环境输入的自适应能力 联系方式如有兴趣欢迎联系大饼博士邮箱188997452qq.comDelfNet — 探索神经网络的新可能