JP3082530B2 - Neural network circuit - Google Patents
- ️Mon Aug 28 2000
【０００１】[0001]
【産業上の利用分野】本発明は、画像の認識処理などを
行うニューラルネットワーク回路に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network circuit for performing image recognition processing and the like.
【０００２】[0002]
【従来の技術】近年、情報処理のニューラルネットワー
クの分野に大きな関心が集まってきているが、これらの
ニューラルネットワークは人の生体の神経信号処理を模
倣して実現している。現在、様々なニューラルネットワ
ークが提案されているが、その中の一つである量子化ニ
ューロンのネットワークによる画像認識について、文献
（『機能別階層ネットワークを用いた文字認識システ
ム』平成２年度画像電子通信学会全国大会予稿７７〜８
０頁、または『Multi-Functional Layered Networkusin
g Quantizer Neurons』Computer World '90, November
1990）を例にとって説明する。2. Description of the Related Art In recent years, there has been a great deal of interest in the field of neural networks for information processing. These neural networks are realized by imitating neural signal processing of a human body. At present, various neural networks have been proposed. One of them is image recognition by a network of quantized neurons, as described in the literature ("Character Recognition System Using Hierarchical Network by Function" Proceedings 77-8
0 pages or "Multi-Functional Layered Networkusin
g Quantizer Neurons '' Computer World '90, November
1990) as an example.
【０００３】図５に量子化ニューロンのネットワークを
示す。このネットワークは、最下段から第一層、第二
層、および第三層にて図中○印で示す量子化ニューロン
を多層ネットワーク状に連結するとともに、第四層を教
師入力層とし、第五層（最上段の最終層）に多入力１出
力の通常の人工神経細胞を連結した構成となっている。FIG. 5 shows a network of quantization neurons. In this network, quantized neurons indicated by circles in the figure are connected in a multilayer network form in the first, second, and third layers from the bottom, and the fourth layer is used as a teacher input layer. The layer (the last layer at the uppermost stage) has a configuration in which ordinary artificial neurons with multiple inputs and one output are connected.
【０００４】このネットワークの各層に与える特徴デー
タとしては、その一例として、画像を縦８個、横８個の
６４個に区分した画素値、その８×８個の画素値間の横
方向の差分値、およびその８×８個の画素値の縦方向の
差分値としている。[0004] As characteristic data given to each layer of this network, for example, pixel values obtained by dividing an image into 64 pieces of 8 pieces in length and 8 pieces in width, the difference in the horizontal direction between the 8 × 8 pieces of pixel values are given. Value and the vertical difference value of the 8 × 8 pixel values.
【０００５】同図に示すように、第一層は８×８画素数
に相当する６４個の量子化ニューロンからなり、これら
の量子化ニューロンは、各々量子化信号入力端子Ｓを有
し（図６参照）、この各量子化信号端子Ｓには、特徴デ
ータとしての画素値が図示の如く入力される。As shown in FIG. 1, the first layer is composed of 64 quantization neurons corresponding to the number of 8.times.8 pixels, and each of these quantization neurons has a quantization signal input terminal S (see FIG. 1). 6), a pixel value as feature data is input to each of the quantized signal terminals S as illustrated.
【０００６】また、第二層の量子化ニューロンの量子化
信号入力端子Ｓには特徴データとして画素値の横方向の
差分値が入力され、第三層の量子化ニューロンの量子化
信号入力端子Ｓには特徴データとして画素値の縦方向の
差分値が入力される。第四層の教師入力層は、教師信号
によって最終層の各ニューロンのシナプシスの結合係数
を変化させるものである。Further, a difference value in the horizontal direction of the pixel value is input to the quantized signal input terminal S of the quantized neuron of the second layer as feature data, and the quantized signal input terminal S of the quantized neuron of the third layer is input. , A vertical difference value of a pixel value is input as feature data. The fourth teacher input layer changes the synaptic coupling coefficient of each neuron in the final layer according to the teacher signal.
【０００７】最終層は解答の出力層であって、例えば、
解答が英数字６２文字に対するものである場合には、６
２個の通常の多入力１出力の人工神経細胞からなる。こ
こで、通常の多入力１出力の人工神経細胞とは、各入力
とその入力のシナプスの重みとの積和をとり、その総和
を出力するものである。[0007] The last layer is the output layer of the answer, for example,
6 if the answer is for 62 alphanumeric characters
It consists of two normal multi-input one-output artificial nerve cells. Here, an ordinary multi-input / one-output artificial neuron is one that calculates the product sum of each input and the weight of the synapse of the input, and outputs the total sum.
【０００８】出力層のニューロンは、図９に示すよう
に、それぞれの入力データに対して、学習により決定さ
れている重みＷｎ（ｎは入力の番号）を掛けた後、それ
らの総和を出力する。As shown in FIG. 9, the neuron in the output layer multiplies each input data by a weight Wn (n is an input number) determined by learning, and outputs the sum of the data. .
【０００９】量子化ニューロンは、図６に示すように、
量子化信号入力端子Ｓの他に、選択信号入力端子Ｒと、
複数の出力とを有している。選択信号入力端子Ｒより入
力された信号は、量子化信号入力端子Ｓからの入力値ｘ
によって、例えば（１）式にしたがった重みτが掛けら
れて各出力に出力される。[0009] As shown in FIG.
In addition to the quantization signal input terminal S, a selection signal input terminal R,
It has multiple outputs. The signal input from the selection signal input terminal R is the input value x from the quantization signal input terminal S.
Is multiplied by a weight τ according to the equation (1), and is output to each output.
【００１０】 τj＝１−β（｜ｊ−ｘ｜） ・・・（１） ここで、｜ｊ−ｘ｜はｊ−ｘの絶対値を、ｊは量子化ニ
ューロンの出力番号を表す。Τ j = 1−β (| j−x |) (1) where | j−x | represents the absolute value of j−x, and j represents the output number of the quantization neuron.
【００１１】図７の量子化ニューロンは、量子化信号入
力端子Ｓから入力された特徴データの入力レベルが８種
のレベルであり、出力数が８つのものである。例えば、
１−βの関数を図１０で示すものとするならば、量子化
信号入力端子Ｓからの入力の値が０であったときには、
量子化ニューロンの８つの出力に現れる値は、選択信号
入力端子Ｒに与えられる値に、図７（ａ）で示される結
合係数を掛け合わせたものである。The quantized neuron shown in FIG. 7 has eight types of input levels of the feature data input from the quantized signal input terminal S and has eight outputs. For example,
If the function of 1-β is shown in FIG. 10, when the value of the input from the quantized signal input terminal S is 0,
The values appearing at the eight outputs of the quantization neuron are obtained by multiplying the value given to the selection signal input terminal R by the coupling coefficient shown in FIG.
【００１２】また、選択信号入力端子Ｒに与えられる値
に拘らず、量子化信号入力端子Ｓの入力値が３であった
ときには、それぞれの結合係数は図７（ｂ）に示すよう
に、上記図に示す結合係数を３つ右へスライドしたもの
と同様になる。すなわち、図７（ａ）の出力番号に３を
加えることで、量子化信号の入力値が３の場合の結合係
数を得ることができる。ただし、７を越えた場合は結合
係数を０にする。When the input value of the quantization signal input terminal S is 3 irrespective of the value given to the selection signal input terminal R, the respective coupling coefficients are set as shown in FIG. This is similar to the case where the coupling coefficient shown in FIG. That is, by adding 3 to the output number in FIG. 7A, it is possible to obtain a coupling coefficient when the input value of the quantized signal is 3. However, when it exceeds 7, the coupling coefficient is set to 0.
【００１３】第一層の量子化ニューロンの選択信号入力
端子Ｒに与えられる入力は、最大の値が与えられる。例
えば、量子化ニューロンでの演算を８ビットの演算で行
うとするならば、第一層について、図の結合係数とし、
量子化信号入力端子Ｓに与えられる値がレベル０の場合
は、 選択信号入力＝ＦＦ 出力番号０＝ＦＦ 出力番号１＝７Ｆ 出力番号２＝０ 出力番号３＝ＦＦ 出力番号４＝０ 出力番号５＝０ 出力番号６＝ＦＦ 出力番号７＝０ （１６進表現） となる。The maximum value is given to the input supplied to the selection signal input terminal R of the quantization neuron of the first layer. For example, if the operation in the quantization neuron is performed by an 8-bit operation, the first layer is set to the coupling coefficient shown in the figure,
When the value given to the quantization signal input terminal S is level 0, the selection signal input = FF output number 0 = FF output number 1 = 7F output number 2 = 0 output number 3 = FF output number 4 = 0 output number 5 = 0 output number 6 = FF output number 7 = 0 (hexadecimal notation).
【００１４】図６に示したように、量子化信号入力端子
Ｓに与えられる入力のレベルが８レベル、出力数が８つ
の量子化ニューロンでネットワークを構成する場合、第
一層の量子化ニューロンの８つの出力のそれぞれに、第
二層の量子化ニューロンの選択信号入力端子Ｒが接続さ
れ、この第二層の量子化ニューロンの８つの出力のそれ
ぞれに第三層の量子化ニューロンの選択信号入力端子Ｒ
が接続される。すなわち、このネットワークでは、第一
層の量子化ニューロン１個から第二層の各量子化ニュー
ロンを経由してツリー状に分岐する第三層の量子化ニュ
ーロンの総出力数は５１２となる。As shown in FIG. 6, when a quantized neuron having eight levels of inputs and eight outputs is provided to the quantized signal input terminal S, a first-layer quantized neuron is used. A selection signal input terminal R of the second layer quantization neuron is connected to each of the eight outputs, and a selection signal input terminal of the third layer quantization neuron is connected to each of the eight outputs of the second layer quantization neuron. Terminal R
Is connected. That is, in this network, the total number of outputs of the third-layer quantized neurons branched in a tree from one quantized neuron of the first layer via each quantized neuron of the second layer is 512.
【００１５】第一層の量子化ニューロンの８つの出力に
接続される第二層の８個の量子化ニューロンの量子化信
号入力、およびその第二層の量子化ニューロンの８つの
出力に接続される８個の第三層の量子化ニューロンの量
子化信号入力は、第一層の量子化ニューロンの量子化信
号入力端子Ｓに入力される特徴データとしての画素値と
同位置にある横方向差分値、および縦方向差分値がそれ
ぞれ与えられる。The quantized signal inputs of the eight quantized neurons of the second layer connected to the eight outputs of the quantized neurons of the first layer, and the eight quantized neurons connected to the eight outputs of the second layer. The quantized signal inputs of the eight third-layer quantized neurons are obtained by calculating the horizontal difference at the same position as the pixel value as the feature data input to the quantized signal input terminal S of the first-layer quantized neuron. And a vertical direction difference value.
【００１６】また、第二層および第三層の量子化ニュー
ロンの選択信号入力端子に入力される信号は、それぞれ
第一層および第二層の各量子化ニューロンの出力であ
る。The signals input to the selection signal input terminals of the quantization neurons of the second and third layers are the outputs of the quantization neurons of the first and second layers, respectively.
【００１７】したがって、第三層の量子化ニューロンの
出力は、第一層のニューロンの結合係数、第二層のニュ
ーロンの結合係数、および第三層のニューロンの結合係
数の３つの結合係数と、第一層の量子化ニューロンの選
択信号入力値とを掛け合わせたものとなる。Therefore, the output of the quantized neuron of the third layer is obtained by three coupling coefficients of the coupling coefficient of the neuron of the first layer, the coupling coefficient of the neuron of the second layer, and the coupling coefficient of the neuron of the third layer, It is obtained by multiplying by the selection signal input value of the quantization neuron of the first layer.
【００１８】最終層の多入力１出力ニューロン１個は、
第三層の量子化ニューロン６４×５１２の数の出力と、
その各々に与えられる第四層（教師入力層）の結合係数
とを掛け合わせたものを入力とする。One multi-input, one-output neuron in the final layer is
The output of the number of 64 × 512 quantized neurons in the third layer;
The input is obtained by multiplying each of them by a given fourth layer (teacher input layer) coupling coefficient.
【００１９】次にこのニューラルネットワークでの学習
であるが、ここではヘブの学習則について説明する。ヘ
ブの学習則ではニューロンのシナプスの重みの変更量と
して入力信号の大きさに比例したものを与える。すなわ
ち、入力信号が大きい経路は学習の結果、より入力信号
が通り易くなる。上記のニューラルネットワークでは最
終層の多入力１出力ニューロンに対してヘブの学習則が
適用される。Next, learning in this neural network will be described. Here, the Hebb's learning rule will be described. According to Heb's learning rule, the amount of change in the weight of the synapse of the neuron is given in proportion to the magnitude of the input signal. That is, as a result of the learning, the input signal is more easily passed through the path where the input signal is large. In the above neural network, Hebb's learning rule is applied to the multi-input, one-output neuron in the final layer.
【００２０】上記説明したニューラルネットワークをハ
ードウェア化、例えば、ＬＳＩ、あるいはブレッドボー
ドで実現する場合、物理的な制約条件から入出力数が決
定される。ここでは、図５のような６４×３入力、６２
出力のニューラルネットワークを１つの単位のニューラ
ルネットワーク回路とする。When the above-described neural network is realized by hardware, for example, an LSI or a breadboard, the number of inputs and outputs is determined from physical constraints. Here, 64 × 3 inputs, 62 as shown in FIG.
The output neural network is a neural network circuit of one unit.
【００２１】従来のニューラルネットワーク回路の構成
の一例を図１１に示す。２００は、図５のような量子化
ニューロンを用いた多層のニューラルネットワークモデ
ルで構成するニューラルネットワーク回路である。２０
１はニューラルネットワーク回路２００に入力する特徴
データ、２０２はニューラルネットワーク回路２００か
ら得られる処理の出力結果、２０３はニューラルネット
ワーク回路２００のデータ入出力を制御する選択信号、
２５０はニューラルネットワーク回路２００のニューロ
ンのシナプスの重みを記憶する荷重メモリである。な
お、図中で同一番号は同一のものとする。FIG. 11 shows an example of the configuration of a conventional neural network circuit. Reference numeral 200 denotes a neural network circuit constituted by a multilayer neural network model using quantized neurons as shown in FIG. 20
1 is feature data input to the neural network circuit 200, 202 is an output result of processing obtained from the neural network circuit 200, 203 is a selection signal for controlling data input / output of the neural network circuit 200,
Reference numeral 250 denotes a weight memory for storing the weight of the synapse of the neuron of the neural network circuit 200. In the drawings, the same numbers are the same.
【００２２】このニューラルネットワーク回路に入力デ
ータを供給するとき、選択信号をアサートにして特徴デ
ータをニューラルネットワーク回路に入力する。入力が
終了すれば、選択信号をネゲートする。また、その特徴
データに対する処理結果を得る場合には、再び選択信号
をアサートしてニューラルネットワーク回路より処理結
果を出力する。このようにして、入出力の制御は単一の
選択信号で行われる。When input data is supplied to the neural network circuit, the selection signal is asserted and the feature data is input to the neural network circuit. When the input is completed, the selection signal is negated. To obtain a processing result for the characteristic data, the selection signal is asserted again and the processing result is output from the neural network circuit. In this way, input / output control is performed by a single selection signal.
【００２３】従来のニューラルネットワーク回路の拡張
方式の一例を図１２に示す。２００Ａおよび２００Ｂ
は、ニューラルネットワーク回路２００と同一ものであ
る。２０４および２０５はそれぞれニューラルネットワ
ーク回路２００Ａおよび２００Ｂのデータ入出力を制御
する選択信号、２５０Ａおよび２５０Ｂは２５０と同一
のものである。FIG. 12 shows an example of an extension method of a conventional neural network circuit. 200A and 200B
Is the same as the neural network circuit 200. 204 and 205 are selection signals for controlling data input / output of the neural network circuits 200A and 200B, respectively, and 250A and 250B are the same as 250.
【００２４】これは、入力数を２倍にしたものである。
選択信号はそれぞれのニューラルネットワーク回路に固
有のものであるから、入力および出力ともに選択信号に
よって選択されたニューラルネットワーク回路ただ１つ
だけに対して行われる。This is one in which the number of inputs is doubled.
Since the selection signal is specific to each neural network circuit, both the input and the output are made to only one neural network circuit selected by the selection signal.
【００２５】上記量子化ニューロンを用いたニューラル
ネットワーク回路では、入力数を拡張する場合には、異
なる入力データを異なるニューラルネットワーク回路に
入力し、各ニューラルネットワーク回路の同一番号を持
つ出力ニューロンの出力値を加算し、最大値をもつ出力
ニューロンを答とする。In the neural network circuit using the above-described quantized neurons, when the number of inputs is expanded, different input data is input to different neural network circuits, and the output value of the output neuron having the same number of each neural network circuit is output. And the output neuron having the maximum value is taken as the answer.
【００２６】一方、出力数を拡張する場合には、同一の
入力データをすべてのニューラルネットワーク回路に入
力し、各ニューラルネットワーク回路の最大出力値を持
つ出力ニューロン同士を比較し、大きい方を答とする。On the other hand, when expanding the number of outputs, the same input data is input to all the neural network circuits, and the output neurons having the maximum output value of each neural network circuit are compared with each other. I do.
【００２７】[0027]
【発明が解決しようとする課題】ニューラルネットワー
クをハードウェアで実現しようとする場合、もっとも問
題になるのは、その物理的な制限からくるネットワーク
規模である。ニューラルネットワークで処理の対象が複
雑になればなるほど、必要とされるネットワーク規模も
大きなものが要求される。When trying to realize a neural network by hardware, the most important problem is the network scale due to its physical limitations. The more complicated the processing target in the neural network, the larger the required network scale is required.
【００２８】一方で、ハードウェアで実現できるネット
ワーク規模には常に制限があるので、それを解決するた
めに、通常、同一のニューラルネットワーク回路を複数
個並べてネットワーク規模を拡張し、並列処理を行うこ
とで性能向上を図る。On the other hand, the size of a network that can be realized by hardware is always limited. To solve this problem, it is usually necessary to arrange a plurality of the same neural network circuits to expand the network scale and perform parallel processing. To improve performance.
【００２９】しかしながら、従来のニューラルネットワ
ーク回路には選択信号がひとつしかなく、ニューラルネ
ットワーク回路を複数個並べて拡張する場合、拡張され
たすべてのニューラルネットワーク回路に同一データを
入力すること、あるいは、すべてのニューラルネットワ
ーク回路から同時に出力することが不可能なため、ひと
つずつニューラルネットワーク回路を選択してから入出
力しなければならず、処理性能の低下などの問題が発生
する。However, the conventional neural network circuit has only one selection signal. When a plurality of neural network circuits are arranged and extended, the same data is input to all extended neural network circuits or all the extended neural network circuits are input. Since it is impossible to simultaneously output from the neural network circuits, it is necessary to select and input and output the neural network circuits one by one, which causes a problem such as a reduction in processing performance.
【００３０】本発明は、以上のような従来のニューラル
ネットワーク回路およびその拡張方式の欠点について研
究した結果によりなされたものであり、ニューラルネッ
トワークのネットワーク規模を容易に拡張できるだけで
なく、処理能力の点でも従来以上の高速の処理速度が得
られるニューラルネットワーク回路を提供することにあ
る。The present invention has been made based on the results of research on the above-described drawbacks of the conventional neural network circuit and its expansion method. In addition to the fact that the network scale of the neural network can be easily expanded, the present invention is not limited to this. However, an object of the present invention is to provide a neural network circuit capable of obtaining a processing speed higher than before.
【００３１】[0031]
【課題を解決するための手段】本発明は、上記目的を達
成するために、与えられた特徴データを入力データと
し、ネットワークの演算の実行によって認識処理した結
果を出力データとする多層のニューラルネットワーク回
路であって、前記入力データもしくは出力データを選択
する選択信号を２つ有するニューラルネットワーク回路
部と、前記ニューラルネットワーク回路部を複数個備
え、前記複数のニューラルネットワーク回路部の選択信
号のうち、一方の選択信号を共通とし、他方の選択信号
はそれぞれに固有のものとすることを特徴とするもので
ある。The present invention achieves the above object.
In order to achieve this , given feature data and input data
The result of the recognition process by executing the network operation
A multi-layer neural network circuit using the result as output data , wherein said input data or output data is selected.
Network circuit having two select signals
Unit and a plurality of the neural network circuit units.
The selection signals of the plurality of neural network circuits
Signal, one of the selection signals is common, and the other is
Are characterized by being unique to each .
【００３２】また、前記複数のニューラルネットワーク
回路部のそれぞれの出力データを加算する加算手段を具
備することにより入力データ数が拡張されたことを特徴
とするものである。The plurality of neural networks
An adding means for adding output data of each of the circuit units;
In this case, the number of input data is expanded by the provision .
【００３３】また、前記複数のニューラルネットワーク
回路部のそれぞれの出力データを比較する比較手段を具
備することにより出力データ数が拡張されたことを特徴
とするものである。The plurality of neural networks
Comparing means for comparing each output data of the circuit section
In this case, the number of output data is expanded by the provision .
【００３４】[0034]
【００３５】[0035]
【作用】本発明は、上記構成により、複数のニューラル
ネットワーク回路部の選択信号のうち、一方の選択信号
を共通とし、他方の選択信号はそれぞれに固有のものと
することでネットワーク規模の拡張を容易に図ることが
できる。また、ネットワークの入力数、出力数を容易に
拡張できる。 According to the present invention, there are provided a plurality of neural networks having the above configuration.
One of the selection signals of the network circuit section
Is common, and the other selection signals are unique to each other, so that the network scale can be easily expanded. Also, the number of inputs and outputs of the network can be easily adjusted.
Can be extended.
【００３６】[0036]
【００３７】[0037]
【００３８】[0038]
【００３９】[0039]
【実施例】【Example】
（実施例１）本発明の請求項１記載のニューラルネット
ワーク回路の一実施例の構成を図１に示す。１００は、
例えば、図５のような量子化ニューロンを用いた多層の
ニューラルネットワークモデルからなるニューラルネッ
トワーク回路である。１０１はニューラルネットワーク
回路１００に入力する特徴データ、１０２はニューラル
ネットワーク回路１００から得られる処理の出力結果、
１０３はニューラルネットワーク回路１００のデータ入
出力を制御する第１選択信号、１０４は１０３とは異な
るニューラルネットワーク回路１００の第２選択信号、
１５０はニューラルネットワーク回路１００のニューロ
ンのシナプスの重みを記憶する荷重メモリである。な
お、図中で同一符号のものは同一機能を有するものであ
る。(Embodiment 1) FIG. 1 shows the configuration of an embodiment of a neural network circuit according to claim 1 of the present invention. 100 is
For example, a neural network circuit composed of a multilayer neural network model using quantized neurons as shown in FIG. 101 is the feature data input to the neural network circuit 100, 102 is the output result of the processing obtained from the neural network circuit 100,
103 is a first selection signal for controlling data input / output of the neural network circuit 100, 104 is a second selection signal of the neural network circuit 100 different from 103,
Reference numeral 150 denotes a weight memory for storing the weight of the synapse of the neuron of the neural network circuit 100. In the drawings, components having the same reference numerals have the same functions.
【００４０】ニューラルネットワーク回路１００に入力
データを供給するとき、第１選択信号１０３をアサート
にして特徴データをニューラルネットワーク回路に入力
する。入力が終了すれば、第１選択信号１０３をネゲー
トする。また、その特徴データに対する処理結果を得る
場合には第２選択信号１０４をアサートしてニューラル
ネットワーク回路１００より処理結果１０２を出力す
る。When input data is supplied to the neural network circuit 100, the first selection signal 103 is asserted and the feature data is input to the neural network circuit. When the input is completed, the first selection signal 103 is negated. When a processing result for the feature data is obtained, the second selection signal 104 is asserted, and the processing result 102 is output from the neural network circuit 100.
【００４１】ニューラルネットワークをハードウェアで
実現しようとする場合、もっとも問題になるのは、その
物理的な制限からくるネットワーク規模である。ニュー
ラルネットワークで処理の対象が複雑になればなるほ
ど、必要とされるネットワーク規模も大きなものが要求
される。When trying to realize a neural network by hardware, the most problematic is the network scale due to its physical limitations. The more complicated the processing target in the neural network, the larger the required network scale is required.
【００４２】一方で、ハードウェアで実現できるネット
ワーク規模には常に制限があるので、それを解決するた
めに、通常、同一のニューラルネットワーク回路を複数
個並べてネットワーク規模を拡張し、並列処理を行うこ
とで性能向上を図る。On the other hand, since the network scale that can be realized by hardware is always limited, to solve the problem, it is usually necessary to arrange a plurality of the same neural network circuits to expand the network scale and perform parallel processing. To improve performance.
【００４３】そこで、上記のように、データの入出力の
制御を２種類の選択信号で行うことにより、例えば、す
べてのニューラルネットワーク回路の第１選択信号を共
通とし、第２選択信号を固有のものと設定すれば、容易
にネットワーク規模の拡張が実現できるだけでなく、入
力データの、各ニューラルネットワーク回路へのロード
もすべて同時に行うことができるので、処理性能も向上
する。Therefore, as described above, by controlling the input and output of data by using two types of selection signals, for example, the first selection signal of all the neural network circuits is made common, and the second selection signal is made unique. If this is set, not only can the network scale be easily expanded, but also the input data can be simultaneously loaded into each neural network circuit, so that the processing performance can be improved.
【００４４】なお、この発明のニューラルネットワーク
回路は量子化ニューロンだけではなく、図９に示すよう
な入力とそのシナプスの重みの積和の総和を出力する単
純パーセプトロンを用いたニューラルネットワークにお
いても適用できる。The neural network circuit according to the present invention can be applied not only to a quantized neuron but also to a neural network using a simple perceptron which outputs the sum of products of inputs and synaptic weights as shown in FIG. .
【００４５】（実施例２） 本願の請求項１記載のニューラルネットワーク回路の実
施例２を図２に示す。ここでは出力数が２倍のネットワ
ーク規模に拡張する場合について説明する。[0045] (Example 2) real neural network circuit of the present application according to claim 1, wherein
Example 2 is shown in FIG. Here, a description will be given when the number of output is extended to 2 times the network scale.
【００４６】１００Ａ、１００Ｂはニューラルネットワ
ーク回路１００と同一もの、１０２はニューラルネット
ワーク回路１００Ａおよび１００Ｂの出力、１０５はニ
ューラルネットワーク回路１００Ａおよび１００Ｂ共通
の第１選択信号、１０６はニューラルネットワーク回路
１００Ａの第２選択信号、１０７はニューラルネットワ
ーク回路１００Ｂの第２選択信号、１５０Ａおよび１５
０Ｂは１５０と同一のものである。100A and 100B are the same as those of the neural network circuit 100, 102 is the output of the neural network circuits 100A and 100B, 105 is the first selection signal common to the neural network circuits 100A and 100B, and 106 is the second selection signal of the neural network circuit 100A. The selection signal 107 is the second selection signal 150A and 15A of the neural network circuit 100B.
0B is the same as 150.
【００４７】まず、ニューラルネットワークへの特徴デ
ータの入力について説明する。１００Ａおよび１００Ｂ
共通の第１選択信号１０５で両方のニューラルネットワ
ーク回路を選択し、特徴データをニューラルネットワー
ク回路１００Ａおよび１００Ｂに同時に入力する。First, the input of the feature data to the neural network will be described. 100A and 100B
Both neural network circuits are selected by a common first selection signal 105, and the feature data is simultaneously input to the neural network circuits 100A and 100B.
【００４８】次に出力であるが、認識処理した後、１０
０Ａの第２選択信号１０６を用いてニューラルネットワ
ーク回路１００Ａよりニューラルネットワーク回路１０
０Ａでの認識結果１０２を出力する。つづいて１００Ｂ
の第２選択信号１０７を用いてニューラルネットワーク
回路１００Ｂよりニューラルネットワーク回路１００Ｂ
での認識結果１０２を出力する。これらの２つの値を比
較し、ネットワーク全体の認識結果としての答を得る。Next, as an output, after the recognition processing, 10
Neural network circuit 10A from neural network circuit 100A using second selection signal 106 of 0A.
The recognition result 102 at 0A is output. Then 100B
From the neural network circuit 100B using the second selection signal 107 of FIG.
The recognition result 102 is output. These two values are compared to obtain an answer as a recognition result of the entire network.
【００４９】もし、結果が間違っていた場合は、ニュー
ラルネットワーク１００Ａと１００Ｂのうちの発火させ
るべき出力番号のニューロンをもつニューラルネットワ
ーク回路のみヘブの学習則を用いて学習を行い、他方の
ニューラルネットワーク回路については行わない。この
方式により、出力数を２倍とすることができる。If the result is wrong, only the one of the neural networks 100A and 100B having the neuron of the output number to be fired learns using Hebb's learning rule, and the other neural network circuit Is not performed. With this method, the number of outputs can be doubled.
【００５０】なお、ここでは出力数を２倍にする場合に
ついて説明したが、ｋ倍の場合にも同様に、実施例１の
ニューラルネットワーク回路をｋ個使用することによっ
て容易に、この発明は適用できる。また、学習について
もヘブの学習則だけでなく最急降下法を用いても同様
に、この発明は適用できる。Although the case where the number of outputs is doubled has been described here, the present invention can be easily applied to the case of k times by using k neural network circuits of the first embodiment. it can. Also, the present invention can be applied to learning by using not only the Hebb's learning rule but also the steepest descent method.
【００５１】（実施例３） 本願の請求項２記載のニューラルネットワーク回路の一
実施例を図３に示す。Ｎ入力Ｍ出力のニューラルネット
ワーク回路を２Ｎ入力Ｍ出力のネットワーク規模に拡張
する場合について説明する。(Embodiment 3) FIG. 3 shows an embodiment of a neural network circuit according to claim 2 of the present application. With it will be described in the case to extend the neural network circuit of N input M output to the network scale of 2N input M output.
【００５２】１００Ａ、１００Ｂはニューラルネットワ
ーク回路１００と同一もの、１０５はニューラルネット
ワーク回路１００Ａおよび１００Ｂの第１選択信号、１
０６はニューラルネットワーク回路１００Ａの第２選択
信号、１０７はニューラルネットワーク回路１００Ｂの
第２選択信号、１０８はニューラルネットワーク回路１
００Ａの出力、１０９はニューラルネットワーク回路１
００Ｂの出力、１１０は１０８および１０９を入力と
し、それらを加算する加算器、１１１は加算器１１０の
出力である。100A and 100B are the same as those of the neural network circuit 100, 105 is the first selection signal of the neural network circuits 100A and 100B, 1
06 is the second selection signal of the neural network circuit 100A, 107 is the second selection signal of the neural network circuit 100B, and 108 is the neural network circuit 1
00A output, 109 is the neural network circuit 1
The output of 00B, 110 is an adder which inputs 108 and 109 and adds them, and 111 is the output of the adder 110.
【００５３】まず、ニューラルネットワークへの特徴デ
ータの入力について説明する。１００Ａの第２選択信号
１０６でニューラルネットワーク回路１００Ａを選択
し、２Ｎだけの入力データのうち、半数だけ１００Ａに
入力する。つづいて、１００Ｂの第２選択信号１０７で
ニューラルネットワーク回路１００Ｂを選択し、２Ｎの
入力データのうち、残りの半数を１００Ｂに供給する。First, the input of characteristic data to the neural network will be described. The neural network circuit 100A is selected by the second selection signal 106 of 100A, and only half of the input data of 2N is input to 100A. Subsequently, the neural network circuit 100B is selected by the second selection signal 107 of 100B, and the remaining half of the 2N input data is supplied to 100B.
【００５４】次に出力であるが、ニューラルネットワー
ク回路１００Ａおよび１００Ｂの出力ニューロンの番号
を同一の番号とみなす。認識処理を実行した後、ニュー
ラルネットワーク回路１００Ａおよび１００Ｂの出力ニ
ューロンの同一番号同士を加算器１１０で加算し、最も
大きい値を持つ出力ニューロンの番号を認識結果とす
る。もし、結果が間違っていた場合は、ニューラルネッ
トワーク回路１００Ａと１００Ｂの両方の発火させるべ
き同じ出力番号のニューロンに対してヘブの学習則を用
いて学習を行う。この方式により、入力数を２Ｎとする
ことができる。Next, regarding the output, the numbers of the output neurons of the neural network circuits 100A and 100B are regarded as the same number. After executing the recognition processing, the same numbers of the output neurons of the neural network circuits 100A and 100B are added by the adder 110, and the number of the output neuron having the largest value is used as the recognition result. If the result is wrong, learning is performed using the Hebb's learning rule for neurons of the same output number to be fired in both the neural network circuits 100A and 100B. With this method, the number of inputs can be 2N.
【００５５】なお、ここでは入力数を２倍にする場合に
ついて説明したが、ｋ倍の場合にも同様に、実施例１の
ニューラルネットワーク回路をｋ個使用することによっ
て容易に、この発明は適用できる。また、学習について
もヘブの学習則だけでなく最急降下法を用いても同様
に、この発明は適用できる。Although the case where the number of inputs is doubled has been described above, the present invention can be easily applied to the case of k times by using k neural network circuits of the first embodiment. it can. Also, the present invention can be applied to learning by using not only the Hebb's learning rule but also the steepest descent method.
【００５６】（実施例４） 本願の請求項３記載のニューラルネットワーク回路の一
実施例を図４に示す。Ｎ入力Ｍ出力のニューラルネット
ワーク回路をＮ入力２Ｍ出力のネットワーク規模に拡張
する場合について説明する。(Embodiment 4) FIG. 4 shows an embodiment of a neural network circuit according to claim 3 of the present application. With it will be described in the case to extend the neural network circuit of N input M output to the network scale of N input 2M output.
【００５７】１００Ａ、１００Ｂはニューラルネットワ
ーク回路１００と同一もの、１０５はニューラルネット
ワーク回路１００Ａおよび１００Ｂの第１選択信号、１
０６はニューラルネットワーク回路１００Ａの第２選択
信号、１０７はニューラルネットワーク回路１００Ｂの
第２選択信号、１０８はニューラルネットワーク回路１
００Ａの出力、１０９はニューラルネットワーク回路１
００Ｂの出力、１１０は１０８および１０９を入力と
し、それらを比較する比較器、１１３は比較器１１２の
出力である。100A and 100B are the same as those of the neural network circuit 100, 105 is the first selection signal of the neural network circuits 100A and 100B, 1
06 is the second selection signal of the neural network circuit 100A, 107 is the second selection signal of the neural network circuit 100B, and 108 is the neural network circuit 1
00A output, 109 is the neural network circuit 1
The output of 00B, 110 is a comparator which receives 108 and 109 as inputs and compares them, and 113 is the output of the comparator 112.
【００５８】まず、ニューラルネットワークへの特徴デ
ータの入力について説明する。１００Ａおよび１００Ｂ
の共通の第１選択信号１０５で両方のニューラルネット
ワーク回路を選択し、特徴データをニューラルネットワ
ーク回路１００Ａおよび１００Ｂに同時に入力する。First, input of characteristic data to the neural network will be described. 100A and 100B
Select both neural network circuits with the common first selection signal 105, and simultaneously input the feature data to the neural network circuits 100A and 100B.
【００５９】次に出力であるが、認識処理を実行した
後、ニューラルネットワーク回路１００Ａおよび１００
Ｂの出力ニューロンで、最も大きい値を持つ出力ニュー
ロンの番号をそれぞれ、出力１０８および１０９とし
て、比較器１１２に入力する。そして、２つの値のう
ち、大きい方を認識の処理結果１１３として出力され
る。もし、結果が間違っていた場合は、ニューラルネッ
トワーク回路１００Ａと１００Ｂのうちの発火させるべ
き出力番号の出力ニューロンをもつニューラルネットワ
ーク回路のみヘブの学習則を用いてを行い、他方のニュ
ーラルネットワーク回路については行わない。この方式
により、出力数を２Ｍとすることができる。Next, as an output, after performing the recognition processing, the neural network circuits 100A and 100A
The output neuron numbers having the largest value among the output neurons of B are input to the comparator 112 as outputs 108 and 109, respectively. Then, the larger of the two values is output as the recognition processing result 113. If the result is wrong, only the neural network circuit having the output neuron of the output number to be fired among the neural network circuits 100A and 100B is performed using the Hebb's learning rule, and the other neural network circuit is Not performed. With this method, the number of outputs can be set to 2M.
【００６０】なお、ここでは出力数を２倍にする場合に
ついて説明したが、ｋ倍の場合にも同様に、実施例１の
ニューラルネットワーク回路をｋ個使用することによっ
て容易に、この発明は適用できる。また、学習について
もヘブの学習則だけでなく最急降下法を用いても同様
に、この発明は適用できる。Although the case where the number of outputs is doubled has been described above, the present invention can be easily applied to the case of k times by using k neural network circuits of the first embodiment. it can. Also, the present invention can be applied to learning by using not only the Hebb's learning rule but also the steepest descent method.
【００６１】[0061]
【発明の効果】以上、詳細に説明したように、本願発明
によれば、Ｎ入力Ｍ出力のニューラルネットワーク回路
において、Ｎよりも大きい入力数を取り扱う場合に、Ｎ
入力Ｍ出力のニューラルネットワーク回路を複数個用い
て構成することにより、ニューラルネットワークのネッ
トワーク規模を容易に拡張できるだけでなく、処理能力
の点でも従来以上の高速の処理速度が得られるニューラ
ルネットワーク回路を実現できるものである。As described in detail above, according to the present invention, when a neural network circuit having N inputs and M outputs handles a larger number of inputs than N,
By using a plurality of neural network circuits with M inputs and outputs, it is possible to easily expand the neural network scale and realize a neural network circuit that can achieve a processing speed higher than before in terms of processing capacity. You can do it.
【図１】本発明の実施例１のニューラルネットワーク回
路の構成図FIG. 1 is a configuration diagram of a neural network circuit according to a first embodiment of the present invention.
【図２】本発明の実施例２のニューラルネットワーク回
路の構成図FIG. 2 is a configuration diagram of a neural network circuit according to a second embodiment of the present invention.
【図３】本発明の実施例３のニューラルネットワーク回
路の構成図FIG. 3 is a configuration diagram of a neural network circuit according to a third embodiment of the present invention.
【図４】本発明の実施例４のニューラルネットワーク回
路の構成図FIG. 4 is a configuration diagram of a neural network circuit according to a fourth embodiment of the present invention.
【図５】量子化ニューロンによる多層ニューラルネット
ワークの構成図FIG. 5 is a configuration diagram of a multilayer neural network using quantized neurons.
【図６】量子化ニューロンの構成図FIG. 6 is a configuration diagram of a quantization neuron.
【図７】結合係数の設定例の説明図FIG. 7 is an explanatory diagram of a setting example of a coupling coefficient.
【図８】結合係数の設定例の説明図FIG. 8 is an explanatory diagram of a setting example of a coupling coefficient.
【図９】通常の多入力１出力のニューロンの構成図FIG. 9 is a configuration diagram of a general multi-input / one-output neuron.
【図１０】結合係数の設定例の説明図FIG. 10 is an explanatory diagram of a setting example of a coupling coefficient.
【図１１】従来のニューラルネットワーク回路の構成図FIG. 11 is a configuration diagram of a conventional neural network circuit.
【図１２】従来のニューラルネットワーク回路拡張方式
の構成図FIG. 12 is a configuration diagram of a conventional neural network circuit expansion method.
【符号の説明】 １００、１００Ａ、１００Ｂ ニューラルネットワーク
回路 １０１ 特徴データの入力 １０２ 処理結果の出力 １０３、１０５ 第１選択信号 １０４、１０６、１０７ 第２選択信号 １０８、１０９ 出力 １１０ 加算器 １１１ 加算器の出力 １１２ 比較器 １１３ 比較器の出力 １５０、１５０Ａ、１５０Ｂ 荷重メモリ ２００、２００Ａ、２００Ｂ ニューラルネットワーク
回路 ２０１ 特徴データの入力 ２０２ 処理結果の出力 ２０３、２０４ 選択信号 ２５０、２５０Ａ、２５０Ｂ 荷重メモリ[Description of Signs] 100, 100A, 100B Neural network circuit 101 Input of characteristic data 102 Output of processing result 103, 105 First selection signal 104, 106, 107 Second selection signal 108, 109 Output 110 Adder 111 Adder Output 112 Comparator 113 Comparator output 150, 150A, 150B Load memory 200, 200A, 200B Neural network circuit 201 Input of characteristic data 202 Processing result output 203, 204 Selection signal 250, 250A, 250B Load memory
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−225164（ＪＰ，Ａ) 特開 平２−287860（ＪＰ，Ａ) 特開 平２−100757（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 15/18 550 G06F 15/18 520 ＪＩＣＳＴファイル（ＪＯＩＳ)────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-5-225164 (JP, A) JP-A-2-287860 (JP, A) JP-A-2-100757 (JP, A) (58) Field (Int.Cl. 7 , DB name) G06F 15/18 550 G06F 15/18 520 JICST file (JOIS)