Deeplearning Algorithms tutorial

最近以来一直在学习机器学习和算法，然后自己就在不断总结和写笔记，记录下自己的学习AI与算法历程。 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

• 机器学习是计算机科学的一个子领域，在人工智能领域，机器学习逐渐发展成模式识别和计算科学理论的研究。
• 机器学习：多领域交叉学科，涉及概率论统计学，逼近论，凸分析，算法复杂度理论等多门学科。
• 机器学习的应用：语音识别，自动驾驶，语言翻译，计算机视觉，推荐系统，无人机，识别垃圾邮件，人脸识别，电商推荐系统。
• 机器学习的基本概念：训练集，测试集，特征值，监督学习，非监督学习，分类，回归

目前国内在AI感知层面应用已经百花齐放，主要是无人驾驶、智能音箱、嵌入式。但在认知层面还是比较缺乏，所以新入行的AI应用团队可以放在认知层。如开头所述，认知层最重要的是算法，因此需要阅读Nature上最领先的算法公司DeepMind的几篇大作，如下：

• 2016.01.Mastering the game of Go with deep neural networks and tree search
• 2016.10.Hybrid computing using a neural network with dynamic external memory
• 2017.10.Mastering the game of Go without human knowledge

机器学习步骤框架

• 把数据拆分为训练集合测试集
• 用训练集合训练集的特征向量来训练算法
• 用学习来的算法运用在测试集上累评估算法(可能要设计到调整参数(parameter tuning) 用来验证集(validation set))

机器学习

• 机器学习：机器学习是计算机科学的一个子领域，在人工智能领域，机器学习逐渐发展成模式识别和计算科学理论的研究。通俗的讲机器学习是一种能够赋予机器学习的能力，可以让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。

• 机器学习的应用：机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。下面开启我们的机器学习！

• 机器学习环境的搭建

• 机器学习的入门

• 机器学习的框架

• 机器学习的应用案例

深度学习

• 深度学习：深度学习是基于机器学习延伸出来的一个新的领域，由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展，并伴随大数据和计算能力的提高而产生的一系列新的算法。

• 深度学习的方向：被应用在图像处理与计算机视觉，自然语言处理以及语音识别等领域。

• 深度神经网络

• 深度学习的入门

• 深度学习环境的搭建

• 深度学习的应用案例

机器学习算法概览

从2016年起，机器学习有了新的突破和发展。但是，有效的机器学习是困难的，因为机器学习本身就是一个交叉学科，没有科学的方法及一定的积累很难入门。 从2017年10月19日，Nature上发表了新一代AlphaGo版本AlphaGo Zero的技术论文。指出一种仅基于强化学习的算法，AlphaGo Zero不使用人类的数据、指导或规则以外的领域知识成了自己的老师。DeepMind代表了目前人工智能领域最强的技术，其核心是两个字：算法。 很多人都想成为一个AI开发者，不仅是因为AI开发的薪资高，更主要是因为AI这几年的快速发展,但是因为AI本身的门槛就比较高,很多人可能就会比较徘徊，因而想把自己学习AI的过程写成本书,供大家参考和学习！

• BP神经网络
• RBF算法
• SOM神经网络
• ART神经网络
• 贝叶斯网络
• 粗糙集
• 孤立点分析
• CART
• EM
• FP—tree
• GSP序列
• 协同过滤
• BIRCH
• Prefixspan
• PageRank
• AdaBoost
• CBA
• KNN
• Hopfield神经网络
• 决策树
• 聚类分析
• 关联规则
• 支持向量机（SVM）

后面的算法和我们的算法模型，我会持续更新整理，后续的算法章节会不断的补上，希望可以对新入门学习AI开发和算法的开发者有所帮助！

算法模型

• 回归算法
  • 线性回归
  • 逻辑回归
  • 多元自适应回归(MARS)
  • 本地散点平滑估计(LOESS)
• 基于实例的学习算法
  • K-近邻算法（KNN）
  • 学习矢量化（LVQ）
  • 自组织映射算法（SOM）
  • 局部加权学习算法（LWR）
• 正则化算法
  • 岭回归（Ridge Regression）
  • LASSO（Least Absolute Shrinkage and Selection Operator）
  • 弹性网络(Elastic Net)
  • 最小角回归(LARS)
• 决策树算法
  • 分类和回归树（CART）
  • ID3算法(Iterative Dichotomiser 3)
  • CHAID（Chi-squared Automatic Interaction Detection)
  • 随机森林（Random Forest）
  • 多元自适应回归样条（MARS）
  • 梯度推进机（Gradient Boosting Machine,GBM）
• 贝叶斯算法
  • 朴素贝叶斯(Naive Bayes)
  • 高斯朴素贝叶斯(Gaussian Naive Bayes)
  • 多项式朴素贝叶斯(Multinomial Naive Bayes)
  • 平均单依赖估计量（Averaged One-Dependence Estimators）
  • 贝叶斯网络（Bayesian Belief Network）
• 基于核的算法
  • 支持向量机（SVM）
  • 径向基函数（Radial Basis Function ，RBF)
  • 线性判别分析（Linear Discriminate Analysis ，LDA)
• 聚类算法(Cluster analysis)
  • K-均值(K-Means Algorithm)
  • 模糊c-均值聚类算法(Fuzzy C-means Algorithm)
  • 期望最大化(Expectation-Maximization)
  • 聚类分析(Cluster Analysis)
• 关联规则学习(Association Rule Learning)
  • 先验算法(Apriori Algorithm)
  • Eclat算法(Eclat Algorithm)
  • FP-growth算法(FP-Growth Algorithm)
• 人工神经网络(Artificial Neural Network)
  • 自动编码器(Autoencoder)
  • 反向传播(Backpropagation)
  • 递归神经网络(Recurrent Neural Network))
  • 多层感知器(Multilayer Perceptron)
  • 玻尔兹曼机(Boltzmann Machine)
  • 卷积神经网络(Convolutional Neural Network)
  • Hopfield网络(Hopfield Network)
  • 径向基函数网络(Radial Basis Function Network)
  • 受限玻尔兹曼机(Restricted Boltzmann Machine)
  • 自组织映射(Self-Organizing Map)
  • 脉冲神经网络(Spiking Neural Network)
• 深度学习(Deep Learning)
  • 深度信念网络(Deep Belief Machines)
  • 深度卷积神经网络(Deep Convolutional Neural Networks)
  • 深度递归神经网络(Deep Recurrent Neural Networks)
  • 分层时间记忆(Hierarchical Temporal Memory)
  • 堆叠自动编码器(Stacked AutoEncoder)
  • 生成式对抗网络(Generative Adversarial Networks)
• 降维算法(Dimensionality Reduction Algorithm)
  • 主成分分析法(Principal Component Analysis)
  • 多维缩放(Mutiple Dimensional Scaling)
  • 线性判别分析(Linear Discriminant Analysis)
  • 等度量映射(IsometricMapping,Isomap)
  • 局部线性嵌入(Locally Linear Embedding)
  • 拉普拉斯特征映射(Laplacian Eigenmaps)
  • t－分布随机近邻嵌入(t-SNE)
  • 深度自动编码器(Deep Autoencoder Networks)
• 集成算法(Ensemble Learning)
  • Boosting
  • Bagging
  • AdaBoost
  • 堆叠泛化（混合）
  • GBM 算法
  • GBRT 算法
  • 随机森林
• 其他算法
  • 特征选择算法
  • 性能评估算法
  • 自然语言处理
  • 计算机视觉
  • 推荐系统
  • 强化学习
  • 迁移学习

算法模型的整体基本就是这样目录，后续的算法模型我会不断完善和补充，更新！

大模型LLM

大型语言模型（LLM,Large Language Model）伴随着chatgpt的诞生，走进了我们的视野，GPT 3.0它不仅仅是一项具体的技术，其实体现的是LLM应该往何处去的一个发展理念。

自此之后，差距拉得越来越远，ChatGPT只是这种发展理念差异的一个自然结果。

那么什么是大语言模型呢， 我们深入探索和学习下。

大型语言模型（LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有自注意力功能的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。

转换器 LLM 能够进行无监督的训练，但更精确的解释是转换器可以执行自主学习。通过此过程，转换器可学会理解基本的语法、语言和知识。

与早期按顺序处理输入的循环神经网络（RNN）不同，转换器并行处理整个序列。这可让数据科学家使用 GPU 训练基于转换器的 LLM，从而大幅度缩短训练时间。

借助转换器神经网络架构，您可使用非常大规模的模型，其中通常具有数千亿个参数。这种大规模模型可以摄取通常来自互联网的大量数据，但也可以从包含 500 多亿个网页的 Common Crawl 和拥有约 5700 万个页面的 Wikipedia 等来源摄取数据。

• 走进大语言模型LLM)

机器学习的基础

• 机器学习需要的理论基础：数学，线性代数，数理统计，概率论，高等数学、凸优化理论，形式逻辑等

参考书籍

• 同济线性代数教材
• 同济高等数学第六版上下册
• 概率论与数理统计同济大学
• 凸优化理论
• 机器学习-周志华
• 面向机器智能的TensorFlow实践
• 机器学习
• 数学之美
• 深度学习
• 神经网络和深度学习
• 梯度下降
• 无监督神经元
• Tensorflow实践
• Artificial Intelligence
• Tensorflow新手入门

机器学习

觉得此文章不错，支持我的话可以给我star ，:star:！ 如果有问题可以加我的微信,也可以加入我们的交流群一起交流技术！

License

This is free software distributed under the terms of the MIT license