AdaBoost 算法与 KNN 基分类器：Python 代码实现

以下是 Python 代码示例，实现 AdaBoost 算法，其中使用 KNeighborsClassifier 作为基分类器：

import numpy as np
from sklearn.neighbors import KNeighborsClassifier

class AdaBoostKNN:
    def __init__(self, n_estimators=50):
        self.n_estimators = n_estimators
        self.estimators = []
        self.estimator_weights = np.zeros(self.n_estimators)
        self.estimator_errors = np.zeros(self.n_estimators)
        
    def fit(self, X, y):
        n_samples = X.shape[0]
        sample_weights = np.full(n_samples, (1 / n_samples))
        
        for i in range(self.n_estimators):
            # 构建 KNN 分类器
            estimator = KNeighborsClassifier(n_neighbors=3)
            estimator.fit(X, y, sample_weight=sample_weights)
            y_pred = estimator.predict(X)
            
            # 计算分类器错误率和权重
            incorrect = (y_pred != y)
            estimator_error = np.sum(sample_weights * incorrect)
            estimator_weight = np.log((1 - estimator_error) / estimator_error) / 2
            
            # 更新样本权重
            sample_weights *= np.exp(-estimator_weight * y * y_pred)
            sample_weights /= np.sum(sample_weights)
            
            # 保存分类器、权重和错误率
            self.estimators.append(estimator)
            self.estimator_weights[i] = estimator_weight
            self.estimator_errors[i] = estimator_error
            
    def predict(self, X):
        n_samples = X.shape[0]
        class_sum = np.zeros(n_samples)
        
        for i in range(self.n_estimators):
            y_pred = self.estimators[i].predict(X)
            class_sum += self.estimator_weights[i] * y_pred
            
        return np.sign(class_sum)

在上面的代码中，我们使用来自 sklearn.neighbors 模块的 KNeighborsClassifier 来构建基分类器。在每次迭代中，我们根据样本权重调整分类器的训练数据，计算分类器的错误率和权重，然后更新样本权重。最后，我们保存分类器、权重和错误率，以便在预测时使用它们。