optuna.pruners.MedianPruner

class optuna.pruners.MedianPruner(n_startup_trials=5, n_warmup_steps=0, interval_steps=1, *, n_min_trials=1)[source]

使用中位数停止规则的 Pruner。

如果试验的最佳中间结果在同一步骤中比之前试验的中间结果的中位数更差，则进行剪枝。它会根据中间结果与之前已完成试验的中位数进行比较，提前停止那些不太有希望的试验。

Pruner 处理 NaN 值的方式如下：

如果当前试验的所有中间值均为 NaN，则该试验将被剪枝。
在计算已完成试验的中位数时，会忽略 NaN 值。只考虑有效的数值。

示例

我们使用中位数停止规则最小化一个目标函数。

import numpy as np
from sklearn.datasets import load_iris
from sklearn.linear_model import SGDClassifier
from sklearn.model_selection import train_test_split

import optuna

X, y = load_iris(return_X_y=True)
X_train, X_valid, y_train, y_valid = train_test_split(X, y)
classes = np.unique(y)


def objective(trial):
    alpha = trial.suggest_float("alpha", 0.0, 1.0)
    clf = SGDClassifier(alpha=alpha)
    n_train_iter = 100

    for step in range(n_train_iter):
        clf.partial_fit(X_train, y_train, classes=classes)

        intermediate_value = clf.score(X_valid, y_valid)
        trial.report(intermediate_value, step)

        if trial.should_prune():
            raise optuna.TrialPruned()

    return clf.score(X_valid, y_valid)


study = optuna.create_study(
    direction="maximize",
    pruner=optuna.pruners.MedianPruner(
        n_startup_trials=5, n_warmup_steps=30, interval_steps=10
    ),
)
study.optimize(objective, n_trials=20)

参数:

n_startup_trials (int) – 在同一研究中，在给定数量的试验完成之前，剪枝将处于禁用状态。
n_warmup_steps (int) – 在试验超过给定步数之前，剪枝将处于禁用状态。请注意，此功能假定 step 从零开始。
interval_steps (int) – 剪枝检查之间步数的间隔，偏移了预热步数。如果在剪枝检查时没有报告任何值，则该特定检查将推迟到报告值为止。
n_min_trials (int) – 用于判断是否进行剪枝的步骤中报告的试验结果的最小数量。如果当前步骤中所有试验报告的中间值数量少于 n_min_trials，则该试验不会被剪枝。这可以用来确保最少数量的试验在未被剪枝的情况下完成。

方法

prune(study, trial)

根据报告的值判断试验是否应被剪枝。

prune(study, trial)

根据报告的值判断试验是否应被剪枝。

请注意，此方法不应由库用户调用。相反，optuna.trial.Trial.report() 和 optuna.trial.Trial.should_prune() 提供了在目标函数中实现剪枝机制的用户界面。

参数:

study (Study) – 目标 study 的 study 对象。
trial (FrozenTrial) – 目标 trial 的 FrozenTrial 对象。修改此对象之前请复制一份。

返回:

一个布尔值，表示试验是否应被剪枝。

返回类型:

bool