2つのニューロンでXORの学習は可能か？

　XORの学習は、ディープラーニングの学習をしたことがある人は、誰でも入門書で見たことがあるはずです。でもその多くの場合、ニューロンは3個以上使われています。

　今回の記事では、疑問に思ったので2つのニューロンでのXORの学習が可能か検証してみました。

　そもそも何故一つのニューロンでXORの学習が無理なのでしょうか？

　その理由は線形分離ができない事にあります。例えばANDの場合、一つの線で出力の境界を設定できます。しかしXORは二つの線が必要です。

f:id:SCUSER:20210424220523p:plain

　自分の頭の中には、下のような図がありました。

f:id:SCUSER:20210424201323p:plain

　上の図に従って、コードを書いてみました。

import numpy

x = numpy.array([[0, 0], [0, 1], [1, 0], [1, 1]])
t = numpy.array([0, 1, 1, 0])

eta = 0.8

y = numpy.zeros(4)

u1 = numpy.zeros(4)
u2 = numpy.zeros(4)

b1 = 0 #出力用ニューロン
b2 = 0 #入力用ニューロン

w1 = numpy.zeros(3)
w2 = numpy.zeros(2)

def f(x):
  return max*1

def Derivative(x):
  return [1 if x > 0 else 0 for i in range(1)][0]

for nyan in range(100):
  for i, e in enumerate(x):
    u2[i] = numpy.dot(e, w2) + b2
    u1[i] = numpy.dot(numpy.array([e[0], f(u2[i]), e[1]]), w1) + b1
    y[i] = f(u1[i])

    if i == 3:
      sigma = y - t
      u2 = numpy.where(u2 == 0, u2 + 0.0001, u2)
      sigma2 = (
          sigma * numpy.array([Derivative(u2[neko]) for neko in range(4)])
      ) * w1[1]
      nyaaan = numpy.array([Derivative(u2[neko]) for neko in range(4)])
      w1 = w1 - eta * numpy.array([
        numpy.dot(sigma, x[:, 0])/4,
        numpy.dot(sigma, nyaaan)/4,
        numpy.dot(sigma, x[:, 1])/4
      ])
      w2 = w2 - eta * numpy.array([
        numpy.dot(sigma2, x[:, nyago]) for nyago in range(2)
      ])
      b1 = b1 - eta * (numpy.sum(sigma) / 4)
      b2 = b2 - eta * (numpy.sum(sigma2) / 4)

print(y)