三、元学习 Meta Learning

元学习也就是"学习如何学习"，通过对现有的学习任务之间的性能差异进行系统的观测，然后学习已有的经验和元数据，用于更好的执行新的学习任务。这样做可以极大的该静机器学习流水线或者神经网络架构的设计，也可以用数据驱动的方式取代手工作坊似的算法工程工作。

从某种意义上来说，元学习覆盖了超参数优化，因为元数据的学习包含了：超参数，流水线的构成，神经网络架构，模型构成，元特征等等。

机器学习的算法我们又称为‘学习器’，学习器就是假定一个模型，该模型拥有很多未知参数，利用训练数据和优化算法来找到最适合这些训练数据的参数，生成一个新的算法，或者参数已知的模型，并利用该模型/算法来预测新的未知数据。如果说世界上只有一个模型，那么问题就简单了，问题是模型有很多，不同的模型拥有不同的超参数，我们往往还会把模型和算法组装在一起构成复合模型和机器学习的流水线，这个时候，我就需要知道解决不同的问题要构建那些不同的模型。元学习就在这个时候，我们可以把超参数，流水线，神经网络架构这些都看成是一个新的模型的未知参数，把不同学习任务的性能指标看成是输入数据，这样我们就可以利用优化算法来找到性能最好的那组参数。这个模式可以一直嵌套，也就是说，你可以有‘元元元学习‘，当然我希望你不要走得太远，找不到回来的路。

元学习的方法包括：

通过模型评估来学习

通过任务的属性，元特征来学习

以下列出了一些常见的元特征

从现有的模型中学习，包括：

迁移学习

利用RNN在学习过程中修改自己的权重

元学习的一个很大的挑战就是如果通过很少的训练数据来学习一个复杂的模型，这就是one-shot或者few-shot的问题。

像人类的学习一样，每次学习无论成功失败，我们都收获一定的经验，人类很少从头学习。在构建自动学习的时候，我们也应该充分利用已有的每一次的学习经验，逐步的改进，使得新的学习更加有效。

四、神经网络架构搜索

Neural Architecture Search

提起AutoML，其实大多数人都是因为Google的AutoML系统才知道这个故事的。随着深度学习的流行，神经网络的架构变得越来越复杂，越来越多的手工工程也随之而来。神经网络架构搜索就是为了解决这个问题。

NAS主要包含三个部分：

搜索空间 search space

搜索策略 search strategy

性能估计策略 performance estimation strategy

五、自动化特征工程

自动化特征工程可以帮助数据科学家基于数据集自动创建能够最好的用于训练的特征。

Featuretools是一个开源库，用来实现自动化特征工程。它是一个很好的工具，旨在加快特征生成的过程，从而让大家有更多的时间专注于构建机器学习模型的其他方面。换句话说，它使你的数据处于“等待机器学习”的状态。

Featuretools程序包中的三个主要组件：

实体（Entities）

深度特征综合（Deep Feature Synthesis ，DFS）

特征基元（Feature primitives）

一个Entity可以视作是一个Pandas的数据框的表示，多个实体的集合称为Entityset。

深度特征综合（DFS）与深度学习无关，不用担心。实际上，DFS是一种特征工程方法，是Featuretools的主干。它支持从单个或者多个数据框中构造新特征。

DFS通过将特征基元应用于Entityset的实体关系来构造新特征。这些特征基元是手动生成特征时常用的方法。例如，基元“mean”将在聚合级别上找到变量的平均值。

六、其它自动机器学习工具集

以下列出一些开源的自动机器学习工具空大家参考、选择

Auto-Sklearn

AutoKeras

TPOT

H2O AutoML

Python auto_ml

推荐阅读

基于机器学习预测Airbnb的城市旅行成本

拥抱人工智能，从机器学习开始

解读ChatOps：开源聊天机器人怎样协助运维？

关于作者：陶刚，Splunk资深软件工程师，架构师，毕业于北京邮电大学，现在在温哥华负责Splunk机器学习云平台的开发，曾经就职于SAP，EMC，Lucent等企业，拥有丰富的企业应用软件开发经验，熟悉软件开发的各种技术，平台和开发过程，在商务智能，机器学习，·数据可视化，数据采集，网络管理等领域都有涉及。

关于EAWorld：微服务，DevOps，数据治理，移动架构原创技术分享。