《繁凡的深度学习笔记》前言、目录大纲 一文弄懂深度学习所有基础-精品文档资料整理.docx

《《繁凡的深度学习笔记》前言、目录大纲 一文弄懂深度学习所有基础-精品文档资料整理.docx》由会员分享，可在线阅读，更多相关《《繁凡的深度学习笔记》前言、目录大纲 一文弄懂深度学习所有基础-精品文档资料整理.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、繁凡的深度学习笔记前言、目录大纲 一文弄懂深度学习所有基础本文同步于 、 与 。 我光排版就排了一个多小时 前言 这是一本面向深度学习初学者的 深度学习笔记 。相信大众在入门深度学习的时候都有一种感觉 各种好评如潮的深度学习课程 各种深化浅出的深度学习书籍 固然都能很容易理解 但是学完之后会有一种 “我到底学了什么 的空虚感。十分是在你完成了大量资料的学习 想要复习的时候 需要翻阅大量博客与听课笔记、读书笔记等 很是费事。假如大众浏览过花书?深度学习?这类人类圣经 往往会有一种晦涩难懂的感觉。这类书籍尽管比拟全面 但是并不合适完全零根底的初学者浏览。此外 深度学习课程与书籍往往会因为篇幅限制而

2、省略掉很多知识讲解 大多内容只是一概而论 并没有深化讨论。而本书以网络博客为载体 就不会有这方面问题的限制。因此本文旨在使用 简明明晰、通俗易懂 的语言帮助大众构建起 全面 的深度学习 完好 知识框架 轻松学懂学会深度学习。本书中对于深度学习的各个研究方向进展了详细讲解 同时各种知识拓展组成了每章的万字长文综述 也使得本文可以作为一本资料书进展使用。书中代码均使用 TensorFlow2.0 和 Pytorch 双料实现 实用性强。 本书暂时共有 18 章 分为四个局部 后期将会渐渐继续拓展 敬请期待。 第一局部 第 1 章 第 3 章 为深度学习根底认知 第 1 章 深度学习综述 学习一个新

3、的领域最好的入门方法就是浏览一篇综述。本章通过对深度学习几十年度来的开展进展扼要综述 帮助大众快速对深度学习这一领域建立起一个根底的认知 搭建起大致的知识体系框架。本章综述中讲到的大多数深度学习的研究方向内容在本书中相应章节均有详细讲解 帮助大众扎实深度学习根底。 第 2 章 回归问题与神经元模型 回归问题是机器学习中较早就开场应用的学习模型 多用来预测一个详细的数值。在深度学习中 可以使用大量方法予以解决。作为深度学习入门要解决的第一个问题 本章引入对于深度学习非常重要的神经元模型 并利用神经元模型解决回归问题。最后讨论了非线性模型 并直观地展示了激活函数的作用。 第 3 章 分类问题 回归

4、问题是对真实值的一种逼近预测 而分类问题那么是为事物打上标签 得到一个离散的值。回归模型与分类模型在本质上是一样的 分类模型可将回归模型的输出离散化 回归模型可以将分类模型的输出连续化。本章通过实战引入了分类问题 详细讲解了逻辑回归、 softmax 回归和信息论根底的相关内容 并讨论了逻辑回归与 softmax 回归的关系。 第二局部 第 4 章 第 5 章 为深度学习框架讲解 第 4 章 TensorFlow2.0从入门到升天 TensorFlow 是谷歌开源的一款深度学习框架 首发于 2021 年度 采用静态图的TensorFlow1.x 尽管在性能方面较为强劲 但是由于实现和调试方面的

5、困难一直令人诟病。2019 年度谷歌发布了TensorFlow2.0 采用动态图优先形式运行 防止 TensorFlow 1.x 版本的众多缺陷 获得了业界的广泛认可 在工业界的部署应用最为广泛。本章从零开场讲解TensorFlow的使用、API、部署等全方位的知识 从零根底开场入门 TensorFlow2.0 直至升天。 第 5 章 PyTorch 从入门到升天 PyTorch 是 Facebook (Meta) 于 2017 年度发布的一款深度学习框架 凭借其简洁优雅的设计、统一易用的接口、追风逐电的速度以及变化无方的灵敏性受到业界的一致好评。经过数年度的开展 在学术界中逐渐占据主导地位。

6、本章将详细讲解 PyTorch 框架的根底知识以及使用方法 从零根底开场入门 Pytorch 直至升天。 第三局部 第 6 章 第 7 章 为深度学习根底 第 6 章 神经网络与反向传播算法 神经网络 Neural Network NN 在机器学习以及认知科学领域 是一种模拟生物神经网络的构造以及功能的数学模型或者计算模型 用于对函数进展估计或者近似。近年度来人们应用深层神经网络技术在计算机视觉、自然语言处理、机器人等领域获得了重大打破 局部任务上甚至超越了人类智能程度 引领了以深层神经网络为代表的第三次人工智能复兴。而深层神经网络也有另一个名字 深度学习。反向传播算法 Backpropaga

7、tion BP 是一种与最优化方法结合使用的 用来训练人工神经网络的常见方法。本章从感悟机模型出发 引入神经网络模型 并介绍了十数种常用激活函数 通过数次实战扎实根底 最后详细地全流程推导了反向传播算法。 第 7 章 过拟合、优化算法与参数优化 在深度学习实战训练中 我们往往会遇到各种问题。本章对这些问题进展总结 并给出一些训练常用技巧 引入过拟合概念并详细介绍了怎样防止。通过前面的学习 我们知道深度学习训练中最常用的反向传播算法是一种与最优化方法相结合的算法 因此本章介绍了一些常用的优化算法 最后对参数优化进展了一些讨论。 第四局部 第 8 章 第 17 章 为深度学习研究方向综述 第 8

8、章 卷积神经网络 (CNN) 从入门到升天 卷积神经网络 Convolutional Neural Network, CNN 一种前馈神经网络 由假设干卷积层以及池化层组成 尤其在图像处理方面表现特别出色。卷积神经网络作为一种非常重要的主流深度学习模型 需要大众理解掌握。本章详细讲解了卷积神经网络的原理、实现、变种和各种应用 从零根底开场入门卷积神经网络直至升天。 第 9 章 循环神经网络 (RNN) 从入门到升天 循环神经网络 Recurrent Neural Network, RNN 一类以序列数据为输入 在序列的演进方向进展递归且所有节点按链式连接的递归神经网络。其特有的循环概念及其最重

9、要的构造 “长短时记忆网络 使得它在处理以及预测序列数据的问题上有着良好的表现。循环神经网络作为一种非常重要的主流深度学习模型 需要大众理解掌握。本章详细讲解了循环神经网络的原理、实现、变种和各种应用 从零根底开场入门循环神经网络直至升天。 第 10 章 注意力机制与Transformer 注意力机制 Attention Mechanism 人们在机器学习模型中嵌入的一种特殊构造 用来自动学习以及计算输入数据对输出数据的奉献大小。Transformer 是一种采用 self-attention 的深度学习模型 对输入数据的每个局部的重要性进展差分加权。在自然语言处理以及计算机视觉领域有着非常广

10、泛的应用。Attention Is All You Need 本章对注意力机制与 Transformer 的原理、实现、常用变种与应用进展了明晰易懂的综述详解 合适零根底入门研究学习。 第 11 章 图神经网络 万字综述 图神经网络 Graph Neural Networks GNN 一种基于图构造的深度学习方法 从其定义中可以看出图神经网络主要由两局部组成 即图论中的图数据构造与深度学习中的神经网络 正巧我大学在 ACM 竞赛中就专门研究图论 x 。GNN 在处理非构造化数据时的出色才能使其在网络数据分析、推荐系统、物理建模、自然语言处理以及图上的组合优化问题方面都获得了新的打破 成为各大深

11、度学习顶会的研究热点。本章从图这一数据构造开场讲解 对图神经网络的原理、实现、常用变种与应用进展了明晰易懂的综述详解 合适零根底入门研究学习。 第 12 章 自编码器 万字综述 自编码器 autoencoder, AE 一类在半监视学习以及非监视学习中使用的人工神经网络 其功能是通过将输入信息作为学习目的 对输入信息进展表征学习。自编码器具有一般意义上表征学习算法的功能 被应用于降维以及异常值检测。包含卷积层构筑的自编码器可被应用于计算机视觉问题 包括图像降噪 、神经风格迁移等。本章对自编码器的原理、实现、常用变种与应用进展了明晰易懂的综述详解 合适零根底入门研究学习。 第 13 章 生成对抗

12、网络 万字综述 生成对抗网络 Generative Adversarial Network GAN 一种非监视式学习的方法 通过让两个神经网络互相博弈的方式进展学习 是近年度来复杂分布上无监视学习最具前景的方法之一。GAN 在图像生成 如超分辨率任务 语义分割等方面有着非常出色的表现。本章从动漫头像生成实战入手 对生成对抗网络的训练公式和纳什平衡进展了详细的推导证明 分析了GAN的训练难题 并给出了相应的解决方法 然后对 WGAN 的原理以及实现进展了详细讲解 最后讨论了 GAN 的应用 合适零根底入门研究学习。 第 14 章 强化学习 万字综述 强化学习 Reinforcement lear

13、ning RL 机器学习中的一个领域 强调怎样基于环境而行动 以获得最大化的预期利益。强化学习是除了监视学习以及非监视学习之外的第三种根本的机器学习方法。深度强化学习 Deep Reinforcement Learning DRL 是深度学习与强化学习相结合的产物 它集成了深度学习在视觉等感悟问题上强大的理解才能 和强化学习的决策才能 实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用 得以解决现实场景中的复杂问题。本章对强化学习的原理、实现、常用变种与应用进展了明晰易懂的综述 合适零根底入门研究学习。 第 15 章 元学习 万字综述 元学习 Meta Learing 一种全新的

14、机器学习方法 尝试学习怎样学习。元学习的诞生可以追溯到上世纪八十年度代 随着深度学习逐渐炽热 元学习也回到了群众的视野当中。元学习与强化学习的结合更是借着深度学习的大潮 在各个领域扩展到了极致 例如人脸识别领域等 均可用元学习来加以强化 cross domain 的性能 。本章综述首先给出元学习相关的术语 并尝试对元学习进展一个定义 给出了一个简单例如去帮助理解元学习这一概念。按照实现方法将元学习分为了三种 并对每种方法的经典算法进展了详细的剖析。最后讨论了元学习的一些应用和将来展望。 第 16 章 对抗攻击与防御 万字综述 对抗攻击 Adversarial Attack 对目的机器学习模型的

15、原输入施加细微扰动以生成对抗样本 Adversarial Example 来欺骗目的模型的经过。在深度学习算法驱动的数据计算时代 确保算法的平安性以及强健性至关重要。研究者发现深度学习算法无法有效地处理对抗样本。这些伪造的样本对人类的判断没有太大影响 但会使深度学习模型输出意想不到的结果。自 2021 年度发现这一现象以来 它引起了人工智能多个子领域研究人员的极大关注 也是我目前研究的方向。本章综述首先讲解对抗攻击的概念和怎样简单地实现对抗攻击。然后给出对抗攻击相关的术语及其定义 对第一代最简单的对抗攻击的原理及实现进展详细介绍 然后分类讨论不同的对抗攻击 接着对对抗攻击的防御进展讲解。最后尝

16、试对对抗攻击的理论原理和机器学习的可解释性进展简单讨论。 第 17 章 迁移学习 迁移学习 Transfer Learning 一种机器学习方法 把一个领域 即源领域 的知识 迁移到另外一个领域 即目的领域 使得目的领域可以获得更好的学习效果。在许多机器学习以及数据挖掘算法中 一个重要的假设就是目前的训练数据以及将来的训练数据 一定要在一样的特征空间并且具有一样的分布。然而 在许多现实的应用案例中 这个假设可能不会成立。比方 我们有时候在某个感兴趣的领域有分类任务 但是我们只有另一个感兴趣领域的足够训练数据 并且后者的数据可能处于与之前领域不同的特征空间或遵循不同的数据分布。这类情况下 假如知

17、识的迁移做的成功 我们将会通过防止花费大量昂贵的标记样本数据的代价 使得学习性能获得显著的提升。近年度来 为解析决这类问题 迁移学习作为一个新的学习框架出如今人们面前。本章对迁移学习的原理、实现、常用变种与应用进展了明晰易懂的综述详解 合适零根底入门研究学习。 深度学习作为国家人工智能战略开展的重要一环 是一个非常前沿且广袤的研究领域。而自古以来 我国知识分子素有 “为天地立心 为生民立命 为往圣继绝学 为万世开太平 的志向以及传统。作为新一代青年度 自当立时代之潮头。笔者祈望通过这份学习笔记 共享以及传播更多的知识。如能帮助各位读者搭建深度学习知识体系 在自己的研究领域发光发热 那便是笔者最大的荣幸。 繁凡 2021 年度 12 月 20 日 zhihu /people/fanfansann 请注意 这里仅是?繁凡的深度学习笔记?的前言、目录大纲 文章的正文还未正式发布。假如对本文感兴趣想让我更新的话 可以给在点赞后移步评论区文明催更 我将视情况 看心情 进展更新 o( )o 同时也请给本文的 点一个