我们人类喜欢学习，但是我们无法学习所有我们想学习的事物。 选择一个“学习机会”总是伴随着不选择另一个的代价。 我们可以观察到许多领域的成本模式。 在经济学中，我们具有机会成本，而在统计分析中，我们具有I型至II型错误的权衡。 在炼金术中，还有一个折衷，表示为等效交换。
有限的时间和脑力是两个限制我们自学的因素。 在实施算法来教授机器时，我们需要进行时空权衡。 在模型拟合中，我们要权衡“欠拟合”与“过拟合”，而在软件程序中，我们必须在更高的效率或精度之间进行选择。
深度学习是生物大脑的“卡通”，这是我们甚至不了解的事物的极大简化版本。 迈克尔·乔丹
确认偏差和预测中的过拟合
想象一下，现在我们的大脑决定学习另一种东西。 我们使用经验法则（试探法）来最大化决策的回报。 机器学习使用启发式或元启发式优化算法或经验法则来最小化真值逼近之间的成本函数。
大脑渴望对未来进行估计和计划，以便从决策中选择朝着最佳结果的明智行为。过去和先前的信念的结合可能是最重要的因素，可以有意或无意识地指导未来的行为。 但是，过去永远是现实的歪曲证据，因为现实不再存在。 因此，我们对它进行了近似（过滤后的版本），每个人都可以用许多不同的方式来解释它。 很多时候，由于我们的确认偏见，我们的先验会影响后验。
BNN中的确认偏差：倾向于通过专注于可以证实我们现有假设的信息，而以可能提供反对该假设的证据的信息为代价来降低我们的心理成本。
ANN中的选择偏差 ：不平衡的数据集将导致算法在我们的数据集标签中选择主导而不是真实的。 这通常通过加权，增强，重采样和/或平衡来解决。
有时，由于我们坚持过去的经验，因此我们的预测有些过拟合。 有时会因为我们忽略了过去的重要方面而导致不合时宜。 因此，我们必须平衡模型对过去的坚持。 要做到这一点，一个很酷的事情是在原则和价值观的空间中适应一条共同的思路。
预测始终是对现实的近似
机器会不会有一段时间能够感觉到像爱情这样的情绪，以及我们希望通过这种方式实现的目标？科幻小说，恶魔，下一场革命或诸如此类。 未来是不可预测的。 我们可以对其进行预测，但是它始终只是基于当前信念和行为的近似值。
ANN中的过度拟合 ：该模型无法将假设推广到该模型在实践中未见的新示例。
您可以做以下4件事： 1.手动减少或通过自动选择要丢弃的特征的模型选择（即集成，交叉验证）减少特征的数量。 2.查找更多数据以训练模型。 3.减少通过正则化有助于预测的参数的大小。 4.在深度学习中，广泛使用迭代算法的提早停止。
从前，两个世纪过去了……
在19世纪后期，研究人员证明了他们的观察结果：神经元具有电兴奋性。
大约三十年后，制造了第一台自动电子数字计算机，又名Atanasoff-Berry计算机 。 它在逻辑门中使用电来进行计算。
大约十年后，神经元的基本大脑生理学和功能，再加上比例逻辑公式化和图灵的计算理论，构成了现在被普遍认为是AI的第一项工作（1943年）。 人工神经元模型，其中每个神经元的特征是“开”或“关”。 响应于足够数量的被称为人工神经网络的相邻神经元的刺激，切换到“开启”状态。
深入学习ANN学习会很有趣，但是在此之前，让我们探索更熟悉的东西： 大脑如何学习 。 这种尝试源于这样一个事实，即我们的大脑在尝试根据已经知道的知识和经过训练的知识来识别模式时会感知新的或复杂的信息。 当然，声称机器和人类以相同的方式学习是愚蠢的。 取而代之的是，出于以下三个原因，进行这种连接很有用：（1）如果将ANN与更熟悉的概念BNN连接，则更容易理解ANN；（2）这两个概念可以共享一个故事，因为它们具有相似之处，并且人类一直在学习通过叙事获得的知识，（3）ANN，BNN和学习都可以通过借鉴神经科学的理论来解释。
大脑的运作和潜意识的起源是科学中最大的谜团。
生物神经网络与学习
生物神经网络（BNN）是通过突触连接在一起的电可兴奋细胞（神经元）的集合。 没有像CPU这样的中央处理程序可以存储我们所有的内存。 相反，记忆存储在大脑的许多区域。 突触在“分布图数据库”上传递信息。 处理信息时，就会出现行动，技能，想法或感觉。
我们如何获得新知识？
在更深的层次上，我们的传感器感知在不同的相互连接的大脑区域中传播的数据，并通过它们的相互作用和实践量，以某种方式出现知识。 在表面水平上，脑细胞的结构发生了变化，并表现出我们的能力发生了变化，这是遵循最佳行为模式而来的。 您必须找出最适合自己的行为，然后养成习惯。 听起来很简单吧？ 不是，但是训练有助于做到。
大脑根据神经可塑性以三种非常基本的方式变化来支持学习：
1. 化学 ：在神经元之间传递化学信号。 它支持短期记忆。
2. 结构 ：改变或创建神经元之间的连接。 它支持长期记忆。
3. 功能性 ：我们使用大脑区域的次数越多，一次又一次地使用它就越容易被激发。
每次多挑战一下大脑，就会发生神奇的事情。
人工神经网络和监督学习
人工智能有五种流派：
一世。 受到神经科学（Ann）启发的连接主义者，
ii。 进化论 ，受达尔文和神经科学（粒子群优化）的启发，
iii。 象征主义者 ，受到逻辑和哲学（决策树）的启发，
iv。 贝叶斯 ，受贝叶斯概率论和统计推断的启发，以及
v。 类比 ，受相似性推断（SVM）的启发。
对于要学习任务（或用我们的术语来说是技能）的机器来说，它所需要的只是：遵循前五种方法中的一种或多种的数据，算法和理论模型。
人工神经网络或连接系统是受构成动物大脑的生物神经网络启发的计算系统。 人工神经网络应该学习输入-输出映射，而不要过度拟合数据。
这样的系统通过考虑示例来学习执行任务。 换句话说，每个监督模型都需要标记数据来学习。 困难在于缺少标签数据。 相反，无监督学习模型不需要标签数据或说答案，但是它不是可解释的模型。
ANN监督学习发生在构建 ， 训练和测试三个基本步骤中：
1，建立神经元及其连接的体系结构，并通过加权连接传递数据（或计算数据）
2，优化： 训练是要改变神经元之间的连接权重，直到达到最低成本
3.评估： 测试结果。 您拥有的数据越多，模型将越准确。
机器学习成本
由于缺乏数据和功能较弱的计算机，机器学习在早期是一个无法解决的昂贵问题。 机器的学习成本与
一世。 效率：计算资源，例如训练时间，模型的复杂性以及模型运行所需的内存空间
ii。 准确性：结果与事实的接近程度。
成本函数是关于最小化近似误差和地面真实性的误差
BNN成本
“您可以拥有任何想要的东西，但不能拥有一切。”
当不同的小零件设法以有意义的方式连接时，就会产生深刻的理解。 知识是有代价的威严。
学习是一个昂贵的问题，它以最基本的形式要求信息的加载，存储和实践。 在单独评估以下三个数量或（和/或针对其他选择）以下三个数量之后，我们无意识地决定学习一些新知识：
一世。 努力，
ii。 时间，
iii。结果期望。
任务：图像处理
我们的大脑如何处理图像？
V1视觉处理中心可以识别简单形式，例如强度，直线或对比强度的垂直，水平和对角线边缘。 下游视觉中心将这些基本视觉形式编织在一起，以创建视觉挂毯的起点。 人脑只需不到一秒钟的时间就能完成操作，并自动将信息组织成一个“整体”。
过去，我们教过一种机器来检测字母T（例如，“这些像素必须是垂直的，而这些像素必须是水平的”）。 现在，仅通过查看数千个T就可以做到这一点。 幸运的是，人的大脑不需要看到T的一千个图像，也不需要被告知一千次这是一个T （训练数据） ，从而学会检测T而不是T （二进制）甚至其他字母。 （多类分类） 。 尽管如此，它仍然需要非结构化的输入和功能来训练其感觉。
在下一篇文章中，我们将构建，训练和测试一个人工神经网络，以学习二进制分类问题。
