Pythonic 搜索空间

对于超参数采样，Optuna 提供了以下功能

• 用于类别参数的 optuna.trial.Trial.suggest_categorical()

• 用于整数参数的 optuna.trial.Trial.suggest_int()

• 用于浮点参数的 optuna.trial.Trial.suggest_float()

通过可选参数 step 和 log，我们可以对整数和浮点参数进行离散化或取对数。

import optuna


def objective(trial):
    # Categorical parameter
    optimizer = trial.suggest_categorical("optimizer", ["MomentumSGD", "Adam"])

    # Integer parameter
    num_layers = trial.suggest_int("num_layers", 1, 3)

    # Integer parameter (log)
    num_channels = trial.suggest_int("num_channels", 32, 512, log=True)

    # Integer parameter (discretized)
    num_units = trial.suggest_int("num_units", 10, 100, step=5)

    # Floating point parameter
    dropout_rate = trial.suggest_float("dropout_rate", 0.0, 1.0)

    # Floating point parameter (log)
    learning_rate = trial.suggest_float("learning_rate", 1e-5, 1e-2, log=True)

    # Floating point parameter (discretized)
    drop_path_rate = trial.suggest_float("drop_path_rate", 0.0, 1.0, step=0.1)

定义参数空间

在 Optuna 中，我们使用熟悉的 Python 语法（包括条件语句和循环）来定义搜索空间。

此外，您可以根据参数值使用分支或循环。

有关更丰富的用法，请参阅示例。

• 分支

import sklearn.ensemble
import sklearn.svm


def objective(trial):
    classifier_name = trial.suggest_categorical("classifier", ["SVC", "RandomForest"])
    if classifier_name == "SVC":
        svc_c = trial.suggest_float("svc_c", 1e-10, 1e10, log=True)
        classifier_obj = sklearn.svm.SVC(C=svc_c)
    else:
        rf_max_depth = trial.suggest_int("rf_max_depth", 2, 32, log=True)
        classifier_obj = sklearn.ensemble.RandomForestClassifier(max_depth=rf_max_depth)

• 循环

import torch
import torch.nn as nn


def create_model(trial, in_size):
    n_layers = trial.suggest_int("n_layers", 1, 3)

    layers = []
    for i in range(n_layers):
        n_units = trial.suggest_int("n_units_l{}".format(i), 4, 128, log=True)
        layers.append(nn.Linear(in_size, n_units))
        layers.append(nn.ReLU())
        in_size = n_units
    layers.append(nn.Linear(in_size, 10))

    return nn.Sequential(*layers)

关于参数数量的说明

优化的难度随着参数数量的增加呈指数级增长。也就是说，当你增加参数数量时，所需的试验次数呈指数级增加，因此建议不要添加不重要的参数。