逻辑回归模型中的正则化参数 - 如何控制模型复杂度

逻辑回归模型中的正则化参数：控制模型复杂度

在逻辑回归模型中，正则化参数是一个重要的工具，可以帮助我们控制模型的复杂度，从而避免过拟合或欠拟合。通过调整正则化参数的值，我们可以平衡模型的预测能力和泛化能力。

mnrfit 函数并非用于指定正则化方法，而是用于指定模型类型。 对于逻辑回归模型，mnrfit 函数默认使用 L2 正则化（岭回归）。

使用 fitglm 函数进行逻辑回归建模并控制正则化:

为了使用其他正则化方法，例如 L1 正则化（Lasso）或其他正则化技术，推荐使用 fitglm 函数。

示例代码:

% 导入数据集
res = xlsread('7变量170样本.xlsx');
x = res(:, 1:end-1);
y = res(:, end);

% 数据归一化
[x, ps_input] = mapminmax(x, 0, 1);
X = mapminmax('apply', x, ps_input);

% 将标签变量转换为分类变量
y = categorical(y);

% 将数据集分为训练集和测试集（5倍交叉验证）
cv = cvpartition(y, 'KFold', 5);
accuracy = zeros(cv.NumTestSets, 1);

for i = 1:cv.NumTestSets
    X_train = X(training(cv, i), :);
    y_train = y(training(cv, i));
    X_test = X(test(cv, i), :);
    y_test = y(test(cv, i));

    % 构建逻辑回归模型
    model = fitglm(X_train, y_train, 'Distribution', 'binomial', 'Link', 'logit', 'Regularization', 'ridge', 'Lambda', 0.1);

    % 在测试集上进行预测
    predictedLabels = predict(model, X_test);
    predictedLabels = round(predictedLabels);

    % 计算准确率
    accuracy(i) = sum(predictedLabels == y_test) / numel(y_test);
end

% 输出平均准确率
fprintf('Average Accuracy: %f\n', mean(accuracy));

解释:

• 在 fitglm 函数中，使用 'Regularization' 参数指定正则化方法。代码中使用 'ridge' 表示 L2 正则化（岭回归）。
• 使用 'Lambda' 参数指定正则化参数的值，控制模型的复杂度。代码中设置 'Lambda' 为 0.1。

建议:

• 尝试不同的正则化参数值，并根据具体问题和数据特点找到最佳的模型复杂度。
• 除了 L2 正则化，还可以尝试其他正则化方法，如 L1 正则化（Lasso）等。
• 使用交叉验证来评估模型的泛化能力，并选择性能最好的模型。