optuna.samplers.QMCSampler

class optuna.samplers.QMCSampler(*, qmc_type='sobol', scramble=False, seed=None, independent_sampler=None, warn_asynchronous_seeding=True, warn_independent_sampling=True)[源代码]

一个生成低差异序列的准蒙特卡洛采样器 (Quasi Monte Carlo Sampler)。

准蒙特卡洛 (QMC) 序列在设计上比标准的随机序列具有更低的差异。在超参数优化中，它们通常比标准的随机序列表现更好。

有关在超参数优化中使用 QMC 序列的更多信息，请参阅以下论文：

Bergstra, James, and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of machine learning research 13.2, 2012。

我们使用了 Scipy 中的 QMC 实现。有关 QMC 算法的详细信息，请参阅 Scipy API 中关于 scipy.stats.qmc 的参考文档。

注意

采样器的搜索空间由研究中的先前试验或该采样器采样的第一个试验决定。

如果研究中有先前的试验，QMCSampler 使用研究中创建的第一个试验来推断其搜索空间。

否则（如果研究没有先前的试验），QMCSampler 使用其 independent_sampler 来采样第一个试验，然后在第二个试验中推断搜索空间。

如上所述，QMCSampler 的搜索空间由研究的第一个试验决定。一旦搜索空间确定，之后就无法更改。

参数:

qmc_type (str) –
要采样的 QMC 序列的类型。必须是 “halton” 或 “sobol” 之一。默认为 “sobol”。

注意

Sobol’ 序列在样本数量为正整数 \(m\) 的 \(n=2^m\) 时设计为具有低差异性。如果可以预先指定 QMCSampler 建议的试验数量，则建议将试验数量设置为 2 的幂。
scramble (bool) – 如果此选项为 True，则对 QMC 序列应用打乱（随机化）。
seed (int | None) –
QMCSampler 的种子。当 scramble 为 True 时，此参数才有效。如果为 None，则种子将随机初始化。默认为 None。

注意

在使用多个 QMCSampler 进行并行和/或分布式优化时，如果启用了 scrambling，则所有采样器必须共享相同的种子。否则，样本的低差异性将降低。
independent_sampler (BaseSampler | None) –
用于独立采样的 BaseSampler 实例。研究的第一个试验以及不包含在相对搜索空间中的参数将由此采样器进行采样。

如果指定为 None，则默认使用 RandomSampler。

另请参阅

samplers 模块提供了内置的独立采样器，例如 RandomSampler 和 TPESampler。
warn_independent_sampling (bool) –
如果为 True，则在使用独立采样器对参数值进行采样时会发出警告消息。

请注意，在大多数情况下，研究中的第一个试验的参数是通过独立采样器进行采样的，因此在这种情况下不会发出警告消息。
warn_asynchronous_seeding (bool) –
如果为 True，则在对 QMC 序列应用打乱（随机化）且未手动设置采样器随机种子时，会发出警告消息。

注意

在使用并行和/或分布式优化且未手动设置种子时，对于优化中使用的多个采样器，不同工作进程的种子将随机设置，从而导致异步播种。

另请参阅

请参阅 QMCSampler 中的 seed 参数。

示例

通过使用 QMCSampler 来优化一个简单的二次函数。

import optuna


def objective(trial):
    x = trial.suggest_float("x", -1, 1)
    y = trial.suggest_int("y", -1, 1)
    return x**2 + y


sampler = optuna.samplers.QMCSampler()
study = optuna.create_study(sampler=sampler)
study.optimize(objective, n_trials=8)

注意

在 v3.0.0 中作为实验性功能添加。接口在后续版本中可能在没有事先通知的情况下发生更改。请参阅 https://github.com/optuna/optuna/releases/tag/v3.0.0。

方法

`after_trial`(study, trial, state, values)	试验后处理。
`before_trial`(study, trial)	试验预处理。
`infer_relative_search_space`(study, trial)	为目标试验推断将使用的搜索空间。
`reseed_rng`()	重新设置采样器的随机数生成器。
`sample_independent`(study, trial, param_name, ...)	为给定的分布采样一个参数。
`sample_relative`(study, trial, search_space)	在给定的搜索空间中采样参数。

after_trial(study, trial, state, values)[源代码]

试验后处理。

此方法在目标函数返回后、试验完成并存储其状态之前调用。

注意

于 v2.4.0 添加为实验性功能。接口可能在新版本中更改，恕不另行通知。请参阅 https://github.com/optuna/optuna/releases/tag/v2.4.0。

参数:

study (Study) – 目标研究对象。
trial (optuna.trial.FrozenTrial) – 目标试验对象。修改此对象之前，请先进行复制。
state (TrialState) – 结果试验状态。
values (Sequence[float] | None) – 结果试验值。如果试验成功，则保证不为 None。

返回类型:

无

before_trial(study, trial)[源代码]

试验预处理。

此方法在调用目标函数之前、试验实例化之后调用。更准确地说，此方法在试验初始化期间调用，就在调用 infer_relative_search_space() 调用之前。换句话说，它负责在推断搜索空间之前应执行的预处理。

注意

于 v3.3.0 作为实验性功能添加。界面可能会在较新版本中更改，恕不另行通知。请参阅 https://github.com/optuna/optuna/releases/tag/v3.3.0。

参数:

study (Study) – 目标研究对象。
trial (FrozenTrial) – 目标试验对象。

返回类型:

无

infer_relative_search_space(study, trial)[源代码]

为目标试验推断将使用的搜索空间。

此方法在调用 sample_relative() 方法之前调用，并且此方法返回的搜索空间将传递给它。未包含在搜索空间中的参数将使用 sample_independent() 方法进行采样。

参数:

study (Study) – 目标研究对象。
trial (FrozenTrial) – 目标试验对象。修改此对象前请先复制。

返回:

包含参数名称和参数分布的字典。

返回类型:

dict[str, BaseDistribution]

另请参阅

请参阅 intersection_search_space() 作为 infer_relative_search_space() 的实现。

reseed_rng()[源代码]

重新设置采样器的随机数生成器。

如果试验与 n_jobs>1 选项并行执行，则 Study 实例将调用此方法。在这种情况下，采样器实例将被复制，包括随机数生成器的状态，并且它们可能会建议相同的值。为防止此问题，此方法为每个随机数生成器分配不同的种子。

返回类型:: 无

sample_independent(study, trial, param_name, param_distribution)[源代码]

为给定的分布采样一个参数。

此方法仅对未包含在 sample_relative() 方法返回的搜索空间中的参数进行调用。此方法适用于不使用参数之间关系的采样算法，例如随机采样和 TPE。

注意

任何内置采样器在采样新参数时都会忽略失败的试验。因此，在采样器看来，失败的试验被视为已删除。

参数:

study (Study) – 目标研究对象。
trial (FrozenTrial) – 目标试验对象。修改此对象前请先复制。
param_name (str) – 采样参数的名称。
param_distribution (BaseDistribution) – 指定采样算法先验和/或尺度的分布对象。

返回:

参数值。

返回类型:

Any

sample_relative(study, trial, search_space)[源代码]

在给定的搜索空间中采样参数。

此方法在每次试验开始时调用一次，即在评估目标函数之前。此方法适用于使用参数之间关系的采样算法，例如高斯过程和 CMA-ES。

注意

任何内置采样器在采样新参数时都会忽略失败的试验。因此，在采样器看来，失败的试验被视为已删除。

参数:

study (Study) – 目标研究对象。
trial (FrozenTrial) – 目标试验对象。修改此对象前请先复制。
search_space (dict[str, BaseDistribution]) – 由 infer_relative_search_space() 返回的搜索空间。

返回:

包含参数名称和值的字典。

返回类型:

dict[str, Any]