区别不大。算法的目的都是一样的：定一个目标，加一些约束，求一个比较好的结果。

• 相同点：算法是用来求解优化模型，《算法导论》和机器学习在这一点上是一回事。
  
• 区别：《算法导论》里几乎都是组合优化；而机器学习里主要是连续的问题，凸优化较多，也有很多非凸优化。机器学习算法自然大都是梯度下降、坐标下降、蒙特卡洛 这样的算法，与《算法导论》里的算法长得很不像。
• 是机器学习里也有组合优化，比如聚类、比如概率图模型。在这一点上，跟算法导论区别不大。

为什么《算法导论》里大多是组合优化？我拿排序问题举个栗子。

• 排序问题就是个组合优化。给定n个实数，要求按降序排列。
  
• 目标函数：常数（没有目标函数）
• 可行域是n维空间一个子集，集合的元素都是向量a，满足：.
• 为了求解这样一个组合优化模型，可以有很多算法，比如快排、堆排、冒泡。

如果你能理解排序是个组合优化问题，你肯定能理解 网络流、最短路 等等问题都是组合优化。

拿机器学习里常用的最小二乘回归对比一下。

• 最小二乘是个凸优化问题。
• 目标函数：
• 可行域：整个空间
• 为了求解这个凸优化模型，可以用梯度下降、共轭梯度、坐标下降等算法。
• 你也可以用概率模型描述这个问题：y是的线性函数 + 高斯噪声。然后可以用蒙特卡洛算法来求。

机器学习里也有组合优化，比如k-means。

• k-means要求把集合{1, ..., n}划分成k个子集，使得对应的向量离cluster中心的平均距离最短。
• k-means有具体的组合优化模型，我不写了。对应的组合优化模型被证明是NP hard。
• 有很多近似算法求解k-means，最常用的是Lloyd Algorithm。

==========

注意，method和algorithm是两个东西。例如，

• k-means是method，有几种优化问题model，有很多求解的algorithms。你们最常用的那种迭代算法是Lloyd Algorithm。
  
• LDA是method也是model（这种method就一种model），这个model的求解是个NP Hard的问题（我记得Arora文章里证明过）。有很多种算法求解LDA，比如variational inference、MCMC、tensor decomposition。
• word2vec是method，用来解决NLP的一些问题；有很多models，比如skip-gram、深度学习；每种model都有很多算法求解。

把method和algorithm混为一谈是典型的“野路子”从业人员的特征。比如，很多人喜欢把Lloyd算法称为kmeans。

经提醒，method和model有区别，但是界限不明，很多时候可以混用。但是algorithm和method绝对不能混用。