Home of Gaofeng
  文章分类
DataMining 2 LLM 1 算法 2 算法数学 1 计算机基础知识 4 工具 2 Linux 5 小知识 2 硬件 1 数学 5 设计模式 1 AI 11 运维 3 前端开发 3 编程语言 4 web 1 NAS 1 CFD 2 并行计算 1 鸡汤 1 生活 2 科研论文 2 维权 1 英语 1 运动康复 1 research_papers 5 论文笔记框架 1 programming-language 2 git 1 数据库 1 latex 1 Drone 3 操作系统 1 低空经济 1 CFD论文 4 异常检测 2 rnn 1
卷积 卷积
什么是卷积https://zhuanlan.zhihu.com/p/374458086 https://www.zhihu.com/question/22298352/answer/637156871 教科书对卷积的定义一般是： 连续形式：
2026-01-22 AI
卷积
CNN CNN
卷积神经网络（CNN）传统神经网络原文链接 神经网络搭建需要满足三个条件： 输入和输出 权重（w）和阈值（b） 多层感知器的结构 其中，最困难的部分就是确定权重（w）和阈值（b）。目前为止，这两个值都是主观给出的，但现实中很难估计它们
2026-01-22 AI
CNN
ROPE ROPE
基础知识三角函数旋转矩阵https://zhuanlan.zhihu.com/p/183973440 XY坐标系中，向量OP旋转β角度到了OP’的位置： 根据三角函数关系，可以列出向量OP与OP’的坐标表示形式： 对比上面个两个式子，将第
2025-11-21 AI
ROPE
位置编码 位置编码
背景位置编码主要是解决注意力机制中的permutation invarient（置换不变）带来的问题。为了弄清楚位置编码，需要先补充一些背景知识 permutation invarient置换不变：随意调换输入中词的位置，并不会让注意力权重
2025-11-11 AI
Transformer 循环神经网络位置编码
深度学习环境配置 深度学习环境配置
CUDA、CUDNN相关的内容一般来说，如果要使用CUDA，一共需要安装3个东西Nvidia驱动、CUDA、CUDNN。 CUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库，有了它才
2025-10-23 AI
CUDA CUDNN Pytorch
DataProcess DataProcess
dataloader解析简单例子总结：对于一般的数据来说，我们把数据量放在第0维，例如[300,3,32,32]。300张3通道，高宽为32的图片。如果batch_size为16，那么每次读取的数据为[300,3,32,32] 假设我们有一
2025-10-23 AI
DataLoader Random Seed
DDP DDP
基础概念forward（前向传递）：输入数据，得到输出的过程。backward(后向传递)：根据输出结果，计算参数梯度的过程。 分布式训练技术 Data Parallelism (数据并行) Naive: 每个worker存储一份model
2025-10-21 AI
分布式训练
深度学习Graph 深度学习Graph
同构图和异构图概念 同构图：节点类型和边的类型只有一种异构图：节点类型+边类型＞2 在异构图中，节点类型可以代表不同的实体，如用户、商品、话题等，而边类型表示不同实体之间的关系，如用户之间的关注关系、用户与商品之间的购买关系等。节 异构图
2025-06-17 AI
异构图
Transformer Transformer
参考资料：https://zhouyifan.net/2022/11/12/20220925-Transformer/ https://zhuanlan.zhihu.com/p/505105707 Transformer的诞生总结：机器翻译
2025-02-26 AI
循环神经网络（RNN） Transformer
AI AI
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour本文旨在展示分布式同步SGD在大规模训练的可行性。 举了一个例子，模型ResNet-50，数据集是ImageNet(第五章实
2023-12-22 AI
SGD
深度学习 深度学习
卷积相关的内容网络模型参数的关系编码器：convlstm_encoder_params = [ [ OrderedDict({'conv1_leaky_1': [1, 16, 3, 1, 1]}),
2023-12-11 AI
循环神经网络（RNN） 深度学习代码问题 深度学习理论知识 卷积神经网络（CNN） 深度学习数据操作 pytorch与cuda安装