Auto Machine Learning初探

前言

最近在看AutoML,业界在 automl 上的进展还是很不错的,个人比较看好这个方向,所以做了一些了解:

  • Google: Cloud AutoML, Google’s Prediction API
  • Microsoft: Custom Vision, Azure Machine Learning
  • Amazon: Amazon Machine Learning
  • BaiDu:EasyE
  • Alibaba Group:PAI
  • others: BigML.com, Wise.io, SkyTree.com, RapidMiner.com, Dato.com, Prediction.io, DataRobot.com,H2O.AI

github上的开源项目也是有不少的,我所看到的包括:

  • tpot
    • 多项式特征组合
    • 无监督特征筛选
    • 集成分类
  • auto_ml
    • 集成分类
    • 可选深度模型前置
  • auto_sklearn
    • 特征清洗
    • 特征筛选
    • 元学习前置
    • 超参数自动学习
    • 自动集成分类

auto_sklearn

上述开源项目中,我主要看了auto_sklearn,对他的架构设计,算法设计还是很感兴趣的,论文在这边Efficient and Robust Automated Machine Learning

image

  • meta-learning

    • 这边auto_sklearn已经内置诺干个参数选配好了的模型(可能是手动调参数,也有可能是也通过贝叶斯优化的方法在小样本上选择),我们实际去用的时候是根据元特征相似度进行选择即可
      • 《Initializing Bayesian Hyperparameter Optimization via Meta-Learning》指出可以用L1和特征协方差来筛选,聪明的你一定发现,对离散值真不友好
    • 元特征就是站在常规数据之上的汇总信息:image
  • 常规 ML framework 如下图灰色部分:导入数据-数据清洗-特征工程-分类器-输出预测值

    • 这边都是常规操作,我扩充了他里面的各种方法,总结在数据预处理
  • Bayesian optimizer
    • 这个等下细讲,是这个论文中最有价值的地方之一
  • build-ensemble
    • 模型集成

Bayesian optimizer

通常我们在参数尝试的时候都是依赖如下:

  • 暴力法
    • Grid Search 网格搜索/穷举搜索
    • Random Search 随机搜索
  • Bayesian Optimization
    • 能利用先验知识高效地调节超参数,通过减少计算任务而加速寻找最优参数的进程。不依赖人为猜测所需的样本量为多少,优化技术基于随机性,概率分布
  • Neural Network
    • 用深度神经网络代替常规配置,通过线性+非线性变化拟合任何曲线

Bayesian optimizer在实际被应用的过程中使用的较多,是实现自动参数选择的核心,让我们来仔细看下,伪代码:

  1. 构建超参数与优化函数的关系(代理函数):比如gbdt中的树数量与output的AUC之间的函数f,这一般都是模型,黑盒的
  2. 随机初始化原始数据集合
  3. 通过高斯过程/随机森林等对代理函数进行建模
  4. 设计acquisition function,(EI,UCB,TS等),获取最大acquisition function对于假设数据集作为新增数据集
  5. 把新增数据集扩充到2中的数据集中重复更新整个过程

上述代码实现,非常简单,完整代码自取GP_Bayes_Optimizaion

init

1
2
3
4
5
6
7
init_xs = np.random.uniform(bound_dict.get("x", [0, 0])[0],bound_dict.get("x", [1, 1])[1],size=self.init_point_number)
init_ys = np.random.uniform(bound_dict.get("y", [0, 0])[0], bound_dict.get("y", [1, 1])[1],size=self.init_point_number)
init_points = zip(init_xs, init_ys)
init_labels = map(self.target_loss_function, init_xs)
train_features = np.asarray(list(init_points))
train_negative_loss = np.asarray(list(init_labels))
current_max_negative_loss = max(train_negative_loss)

Acquision function computes the max value

1
2
3
4
5
6
x_tries = np.random.uniform(bounds[:, 0], bounds[:, 1], size=(100000, bounds.shape[0]))
mean, std = gp.predict(x_tries, return_std=True)
acquisition_fucntion_values = self.Acquision_function(mean, std)
x_max = x_tries[np.argmax(acquisition_fucntion_values)]
max_acquision_fucntion_value = max(acquisition_fucntion_values)
x_max = np.clip(x_max, bounds[:, 0], bounds[:, 1])

因为我写的是简单的高斯过程这种形式,很多人对高斯过程为什么能拟合出方差均值不清楚,我手写了一些推导过程高斯过程回归

Bayesian optimizer来解决这类问题,有很多的优点的:

  • 利用先验知识高效地调节超参数,每个试验不独立,有点boost味道
  • 通过高效的猜测而加速寻找最优参数的进程
  • 数据要求低,在目标函数未知且计算复杂度高的情况下极其强大
  • 泛化性/鲁棒性好,不易陷入局部最优

其他优秀资料

  • Efficient and Robust Automated Machine Learning
  • User Modeling and Hierarchical Reinforcement Learning
  • Practical Bayesian Optimization of Machine Learning Algorithms
  • Initializing Bayesian Hyperparameter Optimization via Meta-Learning
  • A Conceptual Explanation of Bayesian Hyperparameter Optimization for Machine Learning
  • Automated Machine Learning Hyperparameter Tuning in Python

auto-sklearn快速体验

1
2
3
4
5
6
7
8
9
10
11
>>> import autosklearn.classification
>>> import sklearn.model_selection
>>> import sklearn.datasets
>>> import sklearn.metrics
>>> X, y = sklearn.datasets.load_digits(return_X_y=True)
>>> X_train, X_test, y_train, y_test = \
sklearn.model_selection.train_test_split(X, y, random_state=1)
>>> automl = autosklearn.classification.AutoSklearnClassifier()
>>> automl.fit(X_train, y_train)
>>> y_hat = automl.predict(X_test)
>>> print("Accuracy score", sklearn.metrics.accuracy_score(y_test, y_hat))

更多代码内容欢迎follow我的个人Github,如果有任何算法、代码疑问都欢迎通过邮箱发消息给我。

打赏的大佬可以联系我,赠送超赞的算法资料