机器学习（ML）和大型语言模型（LLMs）学习路线图

学生应该在微积分、统计学、计量经济学、基本经济理论和任何高级语言（最好是Python）的编程经验方面有扎实的基础。有助于理解优化问题，这是许多机器学习算法的核心，特别是在梯度下降和神经网络。对于理解概率分布、假设检验和推理至关重要，这些是大多数机器学习模型的基础。如果您有兴趣将机器学习技术应用于经济或金融数据，特别有用，因为它提供了分析关系和从数据中得出结论的技能。对于理解影响金融模型的潜在因素非

编程喵酱

709人浏览 · 2024-10-11 17:56:11

编程喵酱 · 2024-10-11 17:56:11 发布

学生应该在微积分、统计学、计量经济学、基本经济理论和任何高级语言（最好是Python）的编程经验方面有扎实的基础。

微积分有助于理解优化问题，这是许多机器学习算法的核心，特别是在梯度下降和神经网络。统计对于理解概率分布、假设检验和推理至关重要，这些是大多数机器学习模型的基础。如果您有兴趣将机器学习技术应用于经济或金融数据，计量经济学特别有用，因为它提供了分析关系和从数据中得出结论的技能。基础经济理论对于理解影响金融模型的潜在因素非常重要，有助于创建预测性或规范性模型。实现算法和模型需要编程经验，Python是首选，因为它拥有庞大的机器学习和数据分析库生态系统，如NumPy、Pandas、Scikit-Learn、TensorFlow和PyTorch。有了这些先决条件，你就可以开始学习机器学习（ML）和大型语言模型（LLM）。

下面是一个结构化的路线图来指导你的学习之旅：

步骤1: 机器学习基础

复习线性代数与概率

学习线性代数（向量、矩阵、运算）和概率论的基础知识。

资源：

DeepLearning.AI 推出的 Mathematics for Machine Learning and Data Science 专项课程 Probability & Statistics for Machine Learning and Data Science 虽然口音有点重，但是真的容易理解 https://www.bilibili.com/video/BV1Fo4y1N7AX?p=1&vd_source=e1382be5be85cdcfd0d80d83c7c62002 【搬运自Coursera】
Essence of Linear Algebra 非常容易理解的短片系列 https://www.bilibili.com/video/BV1u4411H7Ry/?vd_source=e1382be5be85cdcfd0d80d83c7c62002 【搬运自油管】
可汗概率学院：https://www.khanacademy.org/math/statistics-probability
线性代数可汗学院：https://www.khanacademy.org/math/linear-algebra
Python编程基础

如果你还没有熟悉Python，请熟悉它，因为它广泛用于ML。

关键库：NumPy、Pandas、Matplotlib。

资源：

Bill Lubanovic 的《Introducing Python》
Python.org教程：https://docs.python.org/3/tutorial/index.html
W3School Python教程：https://www.w3schools.com/python/

Python的网上资源非常的多，这里就不一一赘述了。如果需要，请**联系我（**nihe78 # gmail.com）。

机器学习导论

从基本的机器学习概念开始，如监督学习和无监督学习。
了解线性回归、逻辑回归、K近邻和决策树等关键算法。

资源：

周志华《机器学习》：这本书是机器学习领域的经典入门教材之一，被称为“西瓜书”。它涵盖了机器学习的基础知识和各种算法，内容全面且易于理解，适合初学者入门。
Github 资源：
https://github.com/datawhalechina/pumpkin-book _开源组织Datawhale将《机器学习》中1-16章节的公式进行了整理，并对难点公式进行了详解和补充，创建了《pumpkin-book》南瓜书项目
_https://github.com/Vay-keen/Machine-learning-learning-notes 周志华《机器学习》的学习笔记，记录了在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容。
李航《统计学习方法》这本书全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场等。
Github 资源：

https://github.com/zhengjingwei/statistical-learning-method _用python手动实现和sklearn实现《统计学习方法》中所提到的算法。_https://github.com/datawhalechina/statistical-learning-method-solutions-manual 完成了《统计学习方法》的所有习题解答，并提供Python代码和运行截图。内容包括感知机、K近邻法、朴素贝叶斯法、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型、条件随机场等章节的习题解答。
- https://github.com/WenDesi/lihang_book_algorithm 致力于将《统计学习方法》一书中所有算法实现一遍。提供了详细的代码示例和注释，帮助读者理解和实现书中的算法
吴恩达的Coursera ML课程：https://www.coursera.org/learn/machine-learning
Scikit学习用户指南：https://scikit-learn.org/stable/user_guide.html

4. 练习机器学习模型

练习使用Scikit-Learn构建简单模型。
使用Kaggle或UCI机器学习库中的数据集来实现您的模型。

步骤2: 中级机器学习技术

深度学习基础

了解神经网络、激活函数、损失函数和优化器。
了解反向传播和梯度下降的基础知识。

资源：

Ian Goodfellow, Yoshua Bengio, and Aaron Courville《Deep Learning》这本书是深度学习领域的经典著作，被称为“深度学习AI圣经”。它涵盖了深度学习的概念、方法以及工业界实践应用，适合对深度学习感兴趣的读者深入学习。
Christopher Bishop《Pattern Recognition and Machine Learning》比较老，但是非常经典的读物，相对《Deep Learning》容易理解一些。
深度学习 Coursera 课程：https://www.coursera.org/specializations/deep-learning
TensorFlow.org教程：https://www.tensorflow.org/tutorials

2. 深度学习框架

获得TensorFlow和PyTorch的实践经验。
从构建用于分类和回归任务的简单神经网络开始。

3. 评估指标和模型调整

了解评估指标，如准确性、精确度、召回率、F1评分、ROC曲线和AUC。
练习超参数调整、正则化和模型选择。

步骤3: NLP和大语言模型（LLMs）

自然语言处理（NLP）基础

了解Tokenization、Embedding、Indexing等技术。
理解RAG技术，了解如何从Huggingface调用大语言模型。

资源：

HuggingFace上的资源 https://huggingface.co/learn/nlp-course/
Jurafsky和Martin的《Speech and Language Processing》https://web.stanford.edu/~jurafsky/slp3/ 第三版的电子资源
Delip Rao和Brian McMahan的 “Natural Language Processing with PyTorch”
斯坦福NLP课程：https://web.stanford.edu/class/cs224n/

2. Transformers和LLM