就其应用的多样性而言，遗传算法是最受欢迎的进化算法之一。遗传算法已经被尝试用于绝大多数众所周知的优化问题。另外，遗传算法是基于群体的，许多现代的进化算法直接基于遗传算法或具有一些强烈的相似性。

最早但最流行的元启发式算法之一是模拟退火（simulated annealing，SA），它是一种基于轨迹的全局优化随机搜索技术。它模仿金属材料加工中的退火过程，当金属以最小的能量、较大的晶体尺寸冷却并冻结成结晶状态时，可以减少金属结构中的缺陷。退火过程包括仔细地控制温度和冷却速度，通常称为退火制度（annealing schedule）。 SA 已经成功应用于许多领域。

通过分析元启发式算法的主要特点，我们知道随机化在探索和开发，或者多样化和集中化中都起着重要的作用。在大多数情况下，随机化是通过从均匀分布或高斯正态分布得到的简单随机数来实现的。在其他情况下，会使用更复杂的随机化技术，如：随机行走和 Lévy 飞行。本章简要回顾了随机行走的基本思想和理论、Lévy 飞行和马尔可夫链。我们还讨论初始化、步长、算法效率和鹰策略。这有助于我们了解自然启发式算法的工作机制。

群体智能（Swarm intelligence，SI）和生物启发计算引起了研究人员极大的兴趣和关注。在优化、计算智能和计算机科学领域，生物启发式算法尤其是基于 SI 的算法已经变得非常流行。事实上，这些自然启发式的元启发式算法现在是最广泛使用的优化和计算智能算法。基于 SI 的算法，如蚁群优化算法、蜂群优化算法、粒子群优化、布谷鸟搜索和萤火虫算法等与传统算法相比具有许多优点。

在实现机器学习算法之前，让我们先熟悉如何使用 TensorFlow。

方程中未知量是函数而不是变量，且未知量涉及未知函数的导数的方程称为微分方程。常微分方程（ordinary differential equation， ODE）是一类特殊情况，未知函数只有一个独立变量，方程中存在未知函数的导数。另一方面，如果方程中存在多个变量的导数，则被称为偏微分方程。这里我们关注的是常微分方程(在下面缩写为 ODE)，探索求解这类方程的符号方法和数值方法。ODE 的解析闭合解通常不存在，但对于许多特殊类型的 ODE，存在解析解，在这些情况下，我们有机会使用符号方法找到解。如果不行，我们必须像往常一样采用数值技术求解。

前面，我们讨论了一般的方法和技术，即基于数组的数值计算、符号计算和可视化。这些方法是科学计算的基石，构成了我们在处理计算问题时可以使用的基本工具集。

从这里开始，我们开始探索如何利用前面介绍的基本技术从应用数学和计算科学的不同领域解决问题。本章的主题是代数方程求解。这是一个广泛的课题，需要应用数学的多个领域的理论和方法。特别地，当讨论方程求解时，我们必须区分单变量和多变量方程。此外，我们需要区分线性和非线性方程。这种分类很有用，因为求解这些不同类型的方程需要应用不同的数学方法和途径。

差分进化算法（Differential Evolution，DE）是一种基于向量的元启发式算法，具有良好的收敛性。DE 变体有很多，并且已经在广泛的学科中得到应用。这里简要介绍基本差分进化及其主要实现细节和变体。讨论了种群方差的基本收敛性。

Python 科学计算环境中的可视化环境充满活力且多样化，它为各种可视化需求提供了充足的选择。这里，我们将重点探讨使用 Matplotlib 库来探索可视化。

手动计算曲率十分枯燥，因为它涉及计算一阶导与二阶导。当然，也有其他的应用需要求导，但在这里我们将曲率作为例子。