12 Basic RNN

11 Advanced CNN 1 GoogLeNet 如图，是常见的神经网络GoogLeNet。 为了降低编写难度和维护成本，需要减少代码冗余，因此将网络中多次出现的部分定义为一个类，称为Inception Module。 2 Inception Module 如图所示，是Inception Module的具体结构。 在块中使用了不同大小的kernel，将结果拼接在一起，视结果决定各个ke

10 Basic CNN 1 Intro: Convolutional Neural Network Why full connected layer isn’t enough? An simple explanation: 考虑图像上上下相邻的两个像素，它们在空间上相近，但是在向量中却相距甚远。因此，单纯的全连接层无法捕捉特征。 Advanced network: 如图所示，首先经过

记第一次 kaggle competition - Titanic 1. 数据集描述 Overview The data has been split into two groups: training set (train.csv) test set (test.csv) The training set should be used to build your machine learni

9 Softmax Classifier 1 Introduction 如果直接使用之前的模型，每个输出对应相应类别的概率，那么会造成最终输出不满足分布的特点。 因此，需要对输出进行处理，使得每个类别对应的输出满足以下条件： 为解决这个问题，将最后一层Sigmoid换为Softmax层。 2 Softmax Layer Softmax函数 使用指数操作来保证每个输出大于0,用比例来确

8 Dataset and DataLoader 0 Revision Manual data feed 123xy=np.loadtxt('data/diabetes.csv.gz', delimiter=',', dtype=np.float32)x_data = torch.from_numpy(xy[:, :-1])y_data = torch.from_numpy(xy[:, [-1

7 Multiple Dimension Input 1 Multiple Dimension Logistic Regression Model 1.1 Define linear model Before(Logisitic Regression Model): Now(Multiple Dimension Logistic Regression Model): 公式右上角表示样本

6 Logistic Regression 6.1 Introduction 6.1.1 Classification - The MNIST Dataset MNIST是一个手写数字数据集，包含60000个训练样本和10000个测试样本。每个样本是28x28的灰度图像，标签是0-9的数字。 在这个模型中，输出值是一个10维的向量，每个元素表示对应数字的概率。 torchvision包含MNIS

Linear Regression with Pytorch 1 PyTorch Fashion Prepare dataset Design model using Class: inherit from nn.Module Construct loss and optimizer: using PyTorch API Training cycle (forward, backward, up

Back Propagation 反向传播 1 Introduction 对于简单的神经网络，我们可以使用解析式来计算梯度。 但是对于复杂的神经网络，我们无法使用解析式来计算梯度，因此需要使用反向传播算法。 每个层单独计算梯度并不复杂，而复合后，梯度的计算就变得复杂起来。 2 Computational Graph 计算图 如图，表示一个两层的神经网络，其中MM表示矩阵的乘法。输入为，输出