RNN循环神经网络
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 好急好急的Hexo博客！
相关推荐
2024-12-05
CNN卷积神经网络
CNN属于网络架构的一种，其一般被用于影像领域。 如何去做图像分类 图片在计算机中的存储通常是以3维张量来进行的。例如一张图片是100像素*100像素，每个像素由RGB3个channel组成（这个数值代表这个颜色的强度）；那么要表示这张图片就需要3⋅100⋅1003\cdot100\cdot1003⋅100⋅100个数据。我们将这些数据做成应该向量作为神经网络的输入。 那么就会面临一个问题：例如第一层的神经元共1000个，输入向量为3⋅100⋅1003\cdot100\cdot1003⋅100⋅100个，那么光第一层所需要的weight数量就高达3⋅100⋅100⋅1000=3⋅1073\cdot100\cdot100\cdot1000=3\cdot10^73⋅100⋅100⋅1000=3⋅107个，这样会拖慢训练进度，还容易造成过拟合。 因此我们需要进行优化： 和人眼一样，图片分类时机器也只需要关注这张图片中最关键的部分就可以了。因此每个神经元的输入不需要是完整的图片。 我们为每个神经元分配一个Receptive field，该神经元只需要输入该Receptive...
2024-11-29
Classification分类
这节的Classification分类，指的是函数的输出是从给定的几个选项中选取的。 如何做好机器学习？ 首先需要判断在训练集上的Loss大小： 如果训练集Loss偏大，那就是Model Bias或者优化的问题 Model...
2025-01-17
GAN生成式对抗网络
什么是生成式 所有的网络功能可以分为两种，一种是判别式的，给定一个输入x，其会输出一个固定的y；另一种是生成式的，此时的输入除了x，还会有一个随机性的z： 在这里z的分布应当比较简单（可以用函数式来表示） 由于z随机，输出的y也具有随机性，可以看作是一个复杂的分布 我们把这样的网络称为Generator生成器。 这样的网络是为了解决这种情况：同样的输入应该有不同的输出，而这些不同的输出都是正确的。或者说这个模型是带点创造力在的。 Unconditional...
2024-11-28
Regression回归分析
什么是Regression？ 所谓的机器学习，其实就是一个找函数的过程。但是这个函数往往很复杂，靠人是找不出来的，要依靠机器采用某种方法才能找出这个函数。例如以下几种情况： 音频识别：输入为一段音频信号，输出为这段音频的内容是什么？ 视频识别：输入为一张图片，输出为图片的内容是什么？ 这节的Regression（回归分析），作为机器学习算法的一种，其面向于：函数的输出为一个数值（标量，scalar） 机器学习怎么玩？ 进行机器学习一般的三步走： 定义带有未知数的函数（Model） 例如函数式y=wx+by=wx+by=wx+b，y是待预测的值，x是已知值（feature），w（weight）和b（bias）是未知数 定义损失函数L，L是关于w和b的函数（即输入是weight和bias）。L用于衡量当前设定的(weight,bias)这组数值好还是不好。L的计算来源于训练数据（Training Data）。 在进行预测时，我们把预测值记为yyy，把真实值记为y^\hat{y}y^（称为Label）。 我们可以用∣y−y^∣\lvert...
2024-12-19
Self-attention自注意力机制
什么是Self-attention Self-attention用于解决输入是许多向量的情况（向量个数不固定），即sequence。比如在NLP中，我们的输入是一个句子，把句子中的每一个单词看成一个向量，那么这个句子就是诸多向量的集合；并且由于句子长度会变化，这个集合的大小也会变。 这种模型输出可能有3种： 每个向量都对应一个输出，输入和输出的长度一致。每个输出可以是数值（Regression），可以是类别（Classification）。这种输出模式称为Sequence Labeling。 比如说NLP中的词性标注，每一个单词都对应一个词性就适用这种输出。 整个向量集合就一个输出。 比如去判断某句话是positive还是negative就适用这种输出。 输出数由模型自己决定，这种任务即seq2seq的任务。 比如翻译任务，输入和输出是不同的语言，就属于seq2seq的任务。 Self-attention怎么架构？ 下面的介绍都以Sequence...
2025-01-10
Transformer架构
Transformer与self-attention间的关系 Transformer 是一种基于 self-attention 机制的深度学习架构，主要用于自然语言处理任务。Transformer 的典型结构包括编码器（Encoder）和解码器（Decoder），其中每个编码器和解码器层都使用了 self-attention 机制。 使用 self-attention 的 Transformer...
