optuna.pruners.SuccessiveHalvingPruner

class optuna.pruners.SuccessiveHalvingPruner(min_resource='auto', reduction_factor=4, min_early_stopping_rate=0, bootstrap_count=0)[source]

使用异步逐次减半算法的剪枝器。

逐次减半是一种基于 bandit 的算法，用于在多种配置中识别最佳配置。此类实现了逐次减半的异步版本。有关详细描述，请参阅异步逐次减半论文。

请注意，此类不负责最大资源参数，在论文中此参数称为 \(R\)。分配给试用的最大资源通常在目标函数内部受到限制（例如，simple_pruning.py 中的 step 数，chainer_integration.py 中的 EPOCH 数）。

另请参阅

请参阅 report()。

示例

我们使用 SuccessiveHalvingPruner 最小化目标函数。

import numpy as np
from sklearn.datasets import load_iris
from sklearn.linear_model import SGDClassifier
from sklearn.model_selection import train_test_split

import optuna

X, y = load_iris(return_X_y=True)
X_train, X_valid, y_train, y_valid = train_test_split(X, y)
classes = np.unique(y)


def objective(trial):
    alpha = trial.suggest_float("alpha", 0.0, 1.0)
    clf = SGDClassifier(alpha=alpha)
    n_train_iter = 100

    for step in range(n_train_iter):
        clf.partial_fit(X_train, y_train, classes=classes)

        intermediate_value = clf.score(X_valid, y_valid)
        trial.report(intermediate_value, step)

        if trial.should_prune():
            raise optuna.TrialPruned()

    return clf.score(X_valid, y_valid)


study = optuna.create_study(
    direction="maximize", pruner=optuna.pruners.SuccessiveHalvingPruner()
)
study.optimize(objective, n_trials=20)

参数:

min_resource (str | int) –
指定分配给试用的最小资源的参数（在论文中此参数称为 \(r\)）。此参数默认为“auto”，其值基于一种启发式方法确定，该方法查看第一次试用完成所需的步骤数。

在试用执行 \(\mathsf{min}\_\mathsf{resource} \times \mathsf{reduction}\_\mathsf{factor}^{ \mathsf{min}\_\mathsf{early}\_\mathsf{stopping}\_\mathsf{rate}}\) 步骤（即第一个 rung 的完成点）之前，绝不会被剪枝。当试用完成第一个 rung 时，只有当试用的值排在所有已达到该点的试用的前 \({1 \over \mathsf{reduction}\_\mathsf{factor}}\) 分之一时，它才会被提升到下一个 rung（否则将被剪枝）。如果试用赢得了竞争，它会运行到下一个完成点（即 \(\mathsf{min}\_\mathsf{resource} \times \mathsf{reduction}\_\mathsf{factor}^{ (\mathsf{min}\_\mathsf{early}\_\mathsf{stopping}\_\mathsf{rate} + \mathsf{rung})}\) 步骤），并重复相同的过程。

注意

如果最后一次中间值的步骤可能随每次试用而改变，请手动将可能的最小步骤指定给 min_resource。
reduction_factor (int) – 指定可提升试用数量的减半因子的参数（在论文中此参数称为 \(\eta\)）。在每个 rung 的完成点，约 \({1 \over \mathsf{reduction}\_\mathsf{factor}}\) 的试用将被提升。
min_early_stopping_rate (int) – 指定最小提前停止率的参数（在论文中此参数称为 \(s\)）。
bootstrap_count (int) – 在任何试用被考虑提升到下一个 rung 之前，需要完成一个 rung 的最小试用数量。

方法

prune(study, trial) -> 根据报告的值判断试用是否应被剪枝。

根据报告的值判断试用是否应被剪枝。

prune(study, trial)[source]

根据报告的值判断试用是否应被剪枝。

请注意，库用户不应调用此方法。相反，optuna.trial.Trial.report() 和 optuna.trial.Trial.should_prune() 提供了用户接口，用于在目标函数中实现剪枝机制。

参数:

study (Study) – 目标 study 对象。
trial (FrozenTrial) – 目标 trial 的 FrozenTrial 对象。修改此对象之前请复制一份。

返回:

一个布尔值，表示试用是否应被剪枝。

返回类型:

bool