Проблема, связанная с алгоритмом Backpropagation в нейронной сети

Ответ 1

Наконец-то я нашел проблему. Для XOR я не нуждался в каких-либо смещениях, и он сходился к ожидаемым значениям. Я получаю точно результат, когда вы завершаете окончательный вывод. Нужно было тренироваться, затем проверять, а затем тренироваться до тех пор, пока нейронная сеть не будет удовлетворительной. Я тренировал каждый набор до удовлетворения, но не ВСЕ, заданные снова и снова.

// Initialize the Neural Network
algorithm.initialize(this.numberOfInputs);

int index = 0;
double errorRate = 0;

// Loop until satisfaction or after some iterations
do {
    // Train the Neural Network
    algorithm.train(this.trainingDataSets, this.numberOfInputs);

    // Validate the Neural Network and return the error rate
    errorRate = algorithm.run(this.validationDataSets, this.numberOfInputs);

    index++;
} while (errorRate > minErrorRate && index < numberOfTrainValidateIteration);

С реальными данными мне нужно смещение, потому что выходы начали расходиться. Вот как я добавил смещение:

В классе Neuron.java я добавил синапс смещения с весом и выходом 1.0. Я суммирую его со всеми другими синапсами, а затем помещаю его в свою функцию активации.

public class Neuron implements Serializable {

    [...]

    private Synapse bias;

    public Neuron(IActivation activation) {
        [...]
        this.bias = new Synapse(this);
        this.bias.setWeight(0.5); // Set initial weight OR keep the random number already set
    }

    public void updateOutput(double[] inputs) {
        double sumWeights = this.calculateSumWeights(inputs);

        this.output = this.activation.activate(sumWeights + this.bias.getWeight() * 1.0);
    }

    [...]

В BackPropagationStrategy.java я изменяю вес и дельта каждого смещения в методе updateWeights, который я переименовал updateWeightsAndBias.

public class BackPropagationStrategy implements IStrategy, Serializable {

    [...]

    public void updateWeightsAndBias(NeuralNetwork neuralNetwork, double[] inputs) {

        for (int i = neuralNetwork.getLayers().size() - 1; i >= 0; i--) {

            Layer layer = neuralNetwork.getLayers().get(i);

            for (Neuron neuron : layer.getNeurons()) {

                [...]

                Synapse bias = neuron.getBias();
                double delta = learning * 1.0;
                bias.setWeight(bias.getWeight() + delta + this.momentum * bias.getDelta());

                bias.setDelta(delta);
            }
        }
    }

    [...]

С реальными данными Сеть сходится. В настоящее время обрезка заключается в том, чтобы найти идеальные переменные (если возможно), скорость обучения, импульс, частоту ошибок, количество нейронов, количество скрытых слоев и т.д.