JP2008188108A - Arousal level estimation device - Google Patents

以下、図面を参照して、本発明に係る覚醒度推定装置の実施の形態を説明する。   Hereinafter, embodiments of an arousal level estimation apparatus according to the present invention will be described with reference to the drawings.

本実施の形態では、本発明に係る覚醒度推定装置を、車両に搭載され、運転者の居眠り状態を検出する居眠り検出装置に適用する。本発明に係る居眠り検出装置は、運転者の生理状態を表す指標を計測し、その指標から抽出した特徴量に基づいて居眠り状態（覚醒度が低い状態）を検出し、居眠り状態を検出した場合には運転者が居眠り状態であることを告知する。   In the present embodiment, the wakefulness estimation device according to the present invention is applied to a dozing detection device that is mounted on a vehicle and detects a driver's dozing state. When the dozing detection device according to the present invention measures an index representing a driver's physiological state, detects a dozing state (a state of low arousal level) based on a feature amount extracted from the index, and detects a dozing state Tells the driver that he is asleep.

ここで、降水と運転者の覚醒度（眠気）との関係について説明する。多数の運転者に対して運転中に居眠り状態となったときの天候について調査したところ、降雨や降雪などの降水があるときには居眠り状態になった運転者が少なく、晴天や曇天のときには居眠り状態になった運転者が多いという結果が得られた。特に、連続して降水が続く場合にはこの傾向が顕著になる。このように、降水のときに居眠り状態の発生率が低くなる（覚醒度が高くなる）要因としては、路面状況や視界状況などの変化によって事故の発生リスクが高くなることを運転者が認識しており、運転者が通常より注意を払って運転することやフロントガラスの雨滴などの接触による視覚刺激が運転者に与えられることが考えられる。この２つの要因は運転者に対して刺激として影響を与えるので、この刺激の影響によって運転者の生理状態が変化する。つまり、降水があるときの生理状態と降水がないときの生理状態とは異なる。このように生理状態が変化した結果、居眠りが起こり難くなる（覚醒度を高くする）と推測できる。したがって、生理指標（特徴量）に基づいて居眠り状態を検出する場合、降水の有無によって生理指標の変化に対する検出感度、すなわち居眠り状態の検出感度（判定条件）を変える必要があり、降水がない場合より検出感度を鈍くする必要がある。   Here, the relationship between precipitation and the driver's arousal level (sleepiness) will be described. When we investigated the weather when many drivers fell asleep during driving, few drivers fell asleep when there was rainfall such as rain or snowfall, and fell asleep during clear or overcast weather. The result that there were many drivers who became. This tendency is particularly noticeable when precipitation continues. In this way, the driver recognizes that the risk of accidents increases due to changes in road surface conditions and visibility conditions as a factor that reduces the incidence of dozing state during precipitation (the degree of arousal increases). Therefore, it is conceivable that the driver is more careful than usual and that the driver is given a visual stimulus by contact with raindrops on the windshield. Since these two factors affect the driver as a stimulus, the physiological state of the driver changes due to the influence of the stimulus. In other words, the physiological state when there is precipitation is different from the physiological state when there is no precipitation. As a result of the change in the physiological state in this way, it can be estimated that it becomes difficult for the patient to fall asleep (the degree of arousal is increased). Therefore, when detecting a dozing state based on physiological indices (features), it is necessary to change the detection sensitivity to changes in physiological indices, that is, the detection sensitivity (judgment condition) of the dozing state depending on the presence or absence of precipitation. It is necessary to lower the detection sensitivity.

図１〜図２を参照して、本実施の形態に係る居眠り検出装置１について説明する。図１は、本実施の形態に係る居眠り検出装置の構成図である。図２は、眠気レベル、降水がある場合と降水がない場合の居眠り判定用の特徴量の大きさ及び居眠り判定用の閾値の関係の一例を示すグラフである。   With reference to FIGS. 1-2, the dozing detection apparatus 1 which concerns on this Embodiment is demonstrated. FIG. 1 is a configuration diagram of a snoozing detection apparatus according to the present embodiment. FIG. 2 is a graph showing an example of the relationship between the drowsiness level, the size of the feature quantity for dozing determination when there is rain and when there is no precipitation, and the threshold value for dozing determination.

居眠り検出装置１は、運転者の眠気（覚醒度）に応じて変化する特徴量と居眠り判定用の閾値とを比較し、特徴量が閾値より大きくなった場合に居眠り状態と判定する。特に、居眠り検出装置１では、降水に関係なく居眠り状態を高精度に判定するために、居眠り判定用の閾値を可変とする。そのために、居眠り検出装置１は、指標計測手段２、降水状態取得手段３、出力手段４、ＥＣＵ[Electronic Control Unit]５を備え、ＥＣＵ５に降水有無判断部１０、降水有無判断結果格納バッファ１１、特徴量抽出部１２、降水有無判断結果判定部１３、居眠り検出部１４、降水対応部１５、居眠り検出有無判断部１６、居眠り出力部１７が構成される。   The dozing detection device 1 compares the feature amount that changes according to the driver's sleepiness (arousal level) with the threshold for dozing determination, and determines that the feature amount is larger than the threshold value, so that the dozing state is determined. In particular, in the dozing detection apparatus 1, in order to determine the dozing state with high accuracy regardless of precipitation, the threshold for dozing determination is made variable. For this purpose, the dozing detection apparatus 1 includes an index measurement unit 2, a precipitation state acquisition unit 3, an output unit 4, and an ECU [Electronic Control Unit] 5. The ECU 5 includes a precipitation presence / absence determination unit 10, a precipitation presence / absence determination result storage buffer 11, A feature amount extraction unit 12, a precipitation presence / absence determination result determination unit 13, a dozing detection unit 14, a precipitation handling unit 15, a dozing detection presence / absence determination unit 16, and a dozing output unit 17 are configured.

なお、本実施の形態では、降水状態取得手段３及び降水有無判断部１０が特許請求の範囲に記載する降水状態検出手段に相当し、特徴量抽出部１２が特許請求の範囲に記載する特徴量抽出手段に相当し、降水有無判断結果判定部１３、居眠り検出部１４及び降水対応部１５が特許請求の範囲に記載する推定手段に相当する。   In the present embodiment, the precipitation state acquisition unit 3 and the precipitation presence / absence determination unit 10 correspond to the precipitation state detection unit described in the claims, and the feature amount extraction unit 12 includes the feature amounts described in the claims. Corresponding to the extraction means, the precipitation presence / absence judgment result determination section 13, the dozing detection section 14 and the precipitation handling section 15 correspond to the estimation means described in the claims.

指標計測手段２は、運転者の眠気を判断するための体調を表す各種指標を計測する手段である。指標計測手段２では、各指標を計測し、計測した指標を示す指標信号をＥＣＵ５に送信する。指標計測手段２としては、例えば、心拍センサ、脳波センサ、脈波センサ、呼吸センサ、運転者の顔や体などを撮像するカメラとその撮像画像を処理する画像処理装置である。カメラを用いる手段では、撮像画像から運転者の顔の瞬き、唇の動きなどを検出したり、あるいは、運転者の体の背伸び、体のひねりなどを検出する。   The index measuring means 2 is a means for measuring various indices representing the physical condition for judging the driver's sleepiness. The index measuring means 2 measures each index and transmits an index signal indicating the measured index to the ECU 5. The index measuring means 2 is, for example, a heartbeat sensor, an electroencephalogram sensor, a pulse wave sensor, a respiration sensor, a camera that images the driver's face or body, and an image processing device that processes the captured image. The means using the camera detects the blink of the driver's face, the movement of the lips, etc. from the captured image, or detects the driver's body stretching, twisting of the body, and the like.

降水状態取得手段３は、雨や雪などによる降水状態を取得する手段であり、例えば、車両への雨滴量を直接検出する雨滴感知センサ、天候情報を外部から取得するためのＶＩＣＳ[Vehicle Information and Communication System]などである。降水状態取得手段３では、降水状態を取得し、その降水状態を示す降水状態信号をＥＣＵ５に送信する。   The precipitation state acquisition means 3 is a means for acquiring a precipitation state due to rain, snow, etc. For example, a raindrop sensor for directly detecting the amount of raindrops on the vehicle, a VICS [Vehicle Information and VICS for acquiring weather information from the outside, etc. Communication System]. The precipitation state acquisition means 3 acquires the precipitation state and transmits a precipitation state signal indicating the precipitation state to the ECU 5.

出力手段４は、出力対象に対して運転者が居眠り状態であることや運転者に対して休息を促すような告知をするための手段あるいは運転者の覚醒度を高めるための手段である。出力手段４では、ＥＣＵ５から出力信号を受信すると、各手段に応じた出力を行う。出力手段４としては、例えば、音で告知する手段（ブザー、オーディオ、ラジオ、クラクション）、光で告知する手段（メータ照明、室内照明）、触覚や温冷覚で告知する手段（シートに埋設した振動装置、エアコンの風や温度変化）、においで告知する手段（芳香剤の噴射）、システムへのコマンド出力である。出力対象としては、例えば、運転者、運転席以外に座っている乗員、トラックやタクシなどの営業車の運行を管理する管理者、車両制御システムである。   The output means 4 is a means for notifying the output target that the driver is asleep or for prompting the driver to rest or a means for increasing the driver's arousal level. When the output means 4 receives the output signal from the ECU 5, the output means 4 outputs according to each means. As the output means 4, for example, means for notifying by sound (buzzer, audio, radio, horn), means for notifying by light (meter lighting, room lighting), means for notifying by tactile sense or hot / cold sense (embedded in a sheet) Vibration device, air conditioner wind and temperature changes), smell notification means (fragrance injection), command output to the system. Examples of the output target include a driver, an occupant sitting outside the driver's seat, a manager who manages the operation of a business vehicle such as a truck or a taxi, and a vehicle control system.

ＥＣＵ５は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなり、居眠り検出装置１を統括制御する。ＥＣＵ５では、起動すると、一定時間毎に指標計測手段２からの指標信号及び降水状態取得手段３からの降水状態信号を取り入れ、指標信号の指標及び降水状態信号の降水状態を各バッファに格納し、一定時間毎の時系列データとして保持する。また、ＥＣＵ５では、ＲＯＭに格納される各プログラムをＣＰＵで実行することによって各処理部１０，１２〜１７を構成し、一定時間毎に各処理部１０，１２〜１７の処理を行う。   The ECU 5 includes a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like, and comprehensively controls the dozing detection device 1. When the ECU 5 is activated, it takes in the index signal from the index measuring means 2 and the precipitation state signal from the precipitation state acquisition means 3 at regular intervals, stores the indicator of the indicator signal and the precipitation state of the precipitation state signal in each buffer, It is stored as time-series data at regular intervals. Moreover, in ECU5, each process part 10,12-17 is comprised by running each program stored in ROM with CPU, and the process of each process part 10,12-17 is performed for every fixed time.

降水有無判断部１０は、一定時間毎に、降水状態取得手段３で取得した降水状態に基づいて、降水があるか否かを判断する。例えば、雨滴量が所定量以上の場合に、降水があると判断する。この所定量としては、実験などによって設定され、運転者に対する刺激となり、生理状態を変化させる程度の雨滴量が設定される。そして、降水有無判断部１０は、その判断結果を降水有無判断結果格納バッファ１１に記憶させる。   The precipitation presence / absence determination unit 10 determines whether there is precipitation based on the precipitation state acquired by the precipitation state acquisition unit 3 at regular time intervals. For example, when the amount of raindrops is a predetermined amount or more, it is determined that there is precipitation. The predetermined amount is set by an experiment or the like, and a raindrop amount that is a stimulus to the driver and changes the physiological state is set. Then, the precipitation presence / absence determination unit 10 stores the determination result in the precipitation presence / absence determination result storage buffer 11.

降水有無判断結果格納バッファ１１は、ＲＡＭの所定の領域に構成され、降水有無判断部１０での降水有無の判断結果を時系列で格納するためのバッファである。   The precipitation presence / absence determination result storage buffer 11 is a buffer that is configured in a predetermined area of the RAM and stores the determination result of precipitation presence / absence in the precipitation presence / absence determination unit 10 in time series.

特徴量抽出部１２は、指標計測手段２で計測した各指標から居眠り状態を判定するための特徴量を抽出する。抽出される特徴量は、眠気（覚醒度）に応じて変化するパラメータであり、眠気が強くなるほど値が大きくなるように設定される。さらに、特徴量抽出部１２は、各指標の特徴量から居眠り状態を判定するための閾値ＴＨ_２の基本値を求める。 The feature quantity extraction unit 12 extracts a feature quantity for determining a doze state from each index measured by the index measurement unit 2. The extracted feature amount is a parameter that changes according to sleepiness (awakening level), and is set so that the value increases as sleepiness increases. Further, the feature extraction unit 12 obtains the basic value of the threshold TH ₂ for determining the dozing state from the feature of each indicator.

ここでは、特徴量を抽出する一例として心拍センサで計測された心拍から特徴量を抽出する場合について説明する。まず、特徴量抽出部１２では、心拍の時系列データにバンドパスフィルタ処理を施し、心拍の時系列データから所定の通過帯域（例えば、０．１Ｈｚ〜３０Ｈｚ）の成分を取り出す。次に、特徴量抽出部１２では、心拍の時系列データから心拍タイミング検出用の閾値ＴＨ_０以上となっている波形部分を切り出す。そして、特徴量抽出部１２では、切り出した波形部分が最大となるタイミングを１とし、他のタイミングを０として２値化する。次に、特徴量抽出部１２では、２値化した１となる各心拍タイミングｔ_ｉから次の１となる心拍タイミングｔ_ｉ＋１までの時間を求め、その時間間隔（ｔ_ｉ＋１−ｔ_ｉ）を各心拍タイミングｔ_ｉに付与する。この各心拍タイミングｔ_ｉに付与される時間情報が、心拍周期の情報となる。次に、特徴量抽出部１２では、心拍周期の情報を補完して心拍周期の曲線を求め、心拍周期の時系列データを得る。 Here, a case will be described in which feature amounts are extracted from heartbeats measured by a heartbeat sensor as an example of extracting feature amounts. First, the feature amount extraction unit 12 performs a band pass filter process on the time series data of the heartbeat, and extracts a component of a predetermined pass band (for example, 0.1 Hz to 30 Hz) from the time series data of the heartbeat. Next, the feature quantity extraction section 12 cuts out when the threshold TH ₀ or more and going on corrugated portion for heartbeat timing detected from series data of the heartbeat. Then, the feature amount extraction unit 12 binarizes with the timing when the cut-out waveform portion is maximized as 1 and the other timing as 0. Next, the feature amount extraction unit 12 obtains a time from each heartbeat timing t _{i that} is binarized 1 to the next heartbeat timing t _{i + 1} that becomes 1, and sets the time interval (t _{i + 1} −t _i ) for each time interval. It is applied to the heart rate timing _{t i.} Time information given to the each heartbeat timing t _i becomes the information of the cardiac cycle. Next, the feature amount extraction unit 12 obtains a heartbeat period curve by complementing the information of the heartbeat period, and obtains time-series data of the heartbeat period.

次に、特徴量抽出部１２では、任意のタイムスタンプである基準時間Ｔより前の解析単位区間幅Ｔｔｅｒｍにおける心拍周期の時系列データに対して高速フーリエ変換処理を施す。次に、特徴量抽出部１２では、高速フーリエ変換によって解析単位区間幅Ｔｔｅｒｍ毎に得られたパワースペクトルにおいて予め設定した周波数帯帯域毎に振幅パワースペクトルに対して積分処理を施す。周波数帯帯域は、計測される心拍についてゆらぎ（変化）が強く現れる周波数帯帯域とすればよい。そして、特徴量抽出部１２では、一定時間が経過して基準時間Ｔになる毎に、解析単位区間幅Ｔｔｅｒｍにおける心拍周期の時系列データに対して高速フーリエ変換処理を施し、解析単位区間幅Ｔｔｅｒｍ毎に振幅パワースペクトルに対して積分処理を施す。ここで得られる振幅スペクトルパワーの時系列データが、心拍ゆらぎの時系列データである。   Next, the feature amount extraction unit 12 performs fast Fourier transform processing on time-series data of the heartbeat period in the analysis unit section width Tterm before the reference time T that is an arbitrary time stamp. Next, the feature amount extraction unit 12 performs an integration process on the amplitude power spectrum for each preset frequency band in the power spectrum obtained for each analysis unit interval width Tterm by fast Fourier transform. The frequency band may be a frequency band in which fluctuations (changes) appear strongly with respect to the measured heartbeat. Then, the feature amount extraction unit 12 performs fast Fourier transform processing on the time-series data of the heartbeat period in the analysis unit section width Tterm every time a fixed time elapses and reaches the reference time T, thereby obtaining the analysis unit section width Tterm. Every time, the integration processing is performed on the amplitude power spectrum. The time series data of the amplitude spectrum power obtained here is the time series data of heartbeat fluctuation.

次に、特徴量抽出部１２では、心拍ゆらぎの時系列データに対して微分処理を施す。次に、特徴量抽出部１２では、現在時刻ｔ_０からｔｄ前の時刻を終端とする解析区間幅Ａを設定する。そして、特徴量抽出部１２では、解析区間幅Ａでの心拍ゆらぎの微分値の時系列データの平均値ｍｅａｎと標準偏差ｓｄを算出し、式（１）により閾値ＴＨ_１を算出する。 Next, the feature amount extraction unit 12 performs a differentiation process on the time series data of heartbeat fluctuation. Next, the feature amount extracting unit 12 sets an analysis section width A to terminate td before time from the current time t _0. Then, the feature quantity extraction section 12 calculates an average value mean and the standard deviation sd of the time-series data of the differential value of the heartbeat fluctuation of the analysis section width A, and calculates the threshold value TH ₁ by the equation (1).

平均値ｍｅａｎから標準偏差ｓｄの３倍離れた値を閾値ＴＨ_１に設定するで、心拍ゆらぎ微分値が閾値ＴＨ_１を超えることは９９％あり得ないことになり、統計的に有意差のある心拍ゆらぎの特徴的変化を検出することができる。 By setting the three-fold away the standard deviation sd from the mean value mean the threshold value TH _1, the heartbeat fluctuation differential value exceeds the threshold value TH ₁ will be impossible 99%, a statistically significant difference A characteristic change of heartbeat fluctuation can be detected.

次に、特徴量抽出部１２では、各時刻毎に心拍ゆらぎの微分値が閾値ＴＨ_１を超えたか否かを判定する。現在時刻ｔ_０から過去に遡って一定時間に、心拍ゆらぎの微分値が閾値ＴＨ_１を超えていない場合、特徴量抽出部１２では、次の時刻ｔ_０＋１において閾値ＴＨ_１を更新する。一方、現在時刻ｔ_０から過去に遡って一定時間に、心拍ゆらぎの微分値が閾値ＴＨ_１を超えている場合、特徴量抽出部１２では、次の時刻ｔ_０＋１において閾値ＴＨ_１を更新せずに、閾値ＴＨ_１として現在時刻ｔ_０の閾値ＴＨ_１を維持する。これによって、閾値ＴＨ_１を超えた心拍ゆらぎの微分値を閾値設定に用いることを防止し、運転者の眠気の変化を精度良く判定することが可能となる。 Next, the feature amount extraction unit 12 determines whether the differential value of the heartbeat fluctuation exceeds a threshold value TH ₁ for each time. Constant time prior to the current time t ₀ in the past, if the differential value of the heartbeat fluctuation does not exceed the threshold value TH _1, the feature amount extraction unit 12, and updates the threshold value TH ₁ at the next time t _{0 + 1.} On the other hand, a certain time prior to the current time t ₀ in the past, if the differential value of the heartbeat fluctuation exceeds the threshold value TH _1, the feature amount extraction unit 12, without updating the threshold TH ₁ at the next time t _{0 + 1} In addition, the threshold value TH ₁ at the current time t ₀ is maintained as the threshold value TH ₁ . This prevents the use of the differential value of the heartbeat fluctuation exceeding the threshold value TH ₁ to the threshold setting, it becomes possible to accurately determine the change in the driver drowsiness.

次に、特徴量抽出部１２では、各周波数帯について、心拍ゆらぎの微分値が閾値ＴＨ_１を超えた有無を判断する。そして、特徴量抽出部１２では、所定の時間間隔毎に、閾値ＴＨ_１を超えた心拍ゆらぎの特徴的変化をカウントし、閾値超え密度の時系列データを求める。この閾値超え密度の時系列データは、心拍ゆらぎの特徴的変化の発生頻度であり、居眠り状態を判定するための最終的な特徴量である。 Next, the feature amount extraction unit 12, for each frequency band, determines whether the differential value of the heartbeat fluctuation exceeds a threshold value TH _1. Then, the feature amount extraction unit 12, a predetermined time interval, counting the characteristic change of the heartbeat fluctuation exceeding the threshold value TH _1, obtaining the time-series data of the above threshold density. The time-series data of the density exceeding the threshold is the occurrence frequency of the characteristic change of the heartbeat fluctuation, and is the final feature amount for determining the dozing state.

次に、特徴量抽出部１２では、閾値超え密度の時系列データから時系列データの前半の特定区間Ａの時系列データを取り出す。そして、特徴量抽出部１２では、特定区間Ａにおける時系列データから閾値超え密度最大値ＭＭを抽出し、式（２）により閾値ＴＨ_２を算出する。この式（２）で求められる閾値ＴＨ_２は、居眠り状態を判定するための閾値の基本値となる。 Next, the feature quantity extraction unit 12 extracts time-series data of the specific section A in the first half of the time-series data from the time-series data having the density exceeding the threshold. Then, the feature amount extraction unit 12 extracts the above threshold density maximum value MM from time-series data in a specific section A, calculates a threshold value TH ₂ by the equation (2). Threshold TH ₂ obtained by the formula (2) is a basic value of the threshold value for determining the dozing state.

ｓｃａｌｅは任意の実数であり、ｐａｒａｍは任意の変数（例１：ＭＭ、例２：特定区間Ａにおける閾値超え密度の標準偏差）であり、ｓｃａｌｅとｐａｒａｍの値は統計的に有意差のあるゆらぎの特徴的変化が検出されるように調整すればよい。   scale is an arbitrary real number, param is an arbitrary variable (example 1: MM, example 2: standard deviation of density exceeding threshold in specific interval A), and the values of scale and param are statistically significant fluctuations Adjustments may be made so that a characteristic change is detected.

降水有無判断結果判定部１３は、降水有無判断結果格納バッファ１１に格納されている降水有無の判断結果に基づいて、現在、降水があるか否かを判定する。降水がない場合、降水有無判断結果判定部１３は、降水対応部１５での処理を実行させずに、居眠り検出部１４での処理を実行させる。一方、降水がある場合、降水有無判断結果判定部１３では、降水対応部１５での処理を実行させた後に、居眠り検出部１４での処理を実行させる。   The precipitation presence / absence determination result determination unit 13 determines whether or not there is currently precipitation based on the determination result of precipitation presence / absence stored in the precipitation presence / absence determination result storage buffer 11. When there is no precipitation, the precipitation presence / absence determination result determination unit 13 causes the dozing detection unit 14 to execute processing without executing the processing in the precipitation handling unit 15. On the other hand, if there is precipitation, the precipitation presence / absence determination result determination unit 13 causes the precipitation handling unit 15 to execute processing and then causes the dozing detection unit 14 to execute processing.

居眠り検出部１４は、特徴量抽出部１２で抽出した各指標の特徴量が閾値ＴＨ_２を超えているか否かを判定する。この閾値ＴＨ_２としては、降水対応部１５での処理を実行している場合には降水対応部１５で求めた閾値ＴＨ_２（補正値）を用い、降水対応部１５での処理を実行していない場合には特徴量抽出部１２で求めた閾値ＴＨ_２（基本値）を用いる。特徴量が閾値ＴＨ_２を超えていない場合、居眠り検出部１４は、居眠り状態ではない（覚醒度が高い）と判定する。特徴量が閾値ＴＨ_２を超えた場合、居眠り検出部１４は、閾値ＴＨ_２を超えている時間を測定し、その測定時間が時間閾値ＴＨ_３を超えている場合には居眠り状態（覚醒度が低い）と判定する。 Doze detecting section 14 determines whether the feature quantity of each indicator extracted by the feature amount extraction unit 12 exceeds the threshold value TH _2. As the threshold TH ₂ , when the process in the precipitation handling unit 15 is executed, the threshold TH ₂ (correction value) obtained by the precipitation handling unit 15 is used, and the process in the precipitation handling unit 15 is executed. If not, the threshold TH ₂ (basic value) obtained by the feature quantity extraction unit 12 is used. When the characteristic amount does not exceed the threshold value TH _2, it determines doze detecting section 14 is not a doze state (high degree of awakening). When the characteristic amount exceeds the threshold value TH _2, doze detecting section 14 measures the time that has exceeded the threshold value TH _2, snooze state (awakening degree when the measured time exceeds the time threshold TH ₃ Low).

ここでは、居眠り状態を検出する一例として上記した心拍の特徴量（閾値超え密度の時系列データ）を用いて居眠り状態を検出する場合について説明する。居眠り検出部１４では、特徴量抽出部１２で求めた心拍の閾値超え密度の時系列データから時系列データの前半の特定区間Ａ以降の時系列データを取り出す。そして、居眠り検出部１４では、特定区間Ａ以降の時系列データにおいて閾値ＴＨ_２を超えているか否かを判定する。閾値ＴＨ_２を超えていない場合、居眠り検出部１４では、居眠り状態でないと判定する。一方、閾値ＴＨ_２を超えた場合、居眠り検出部１４では、閾値ＴＨ_２を超えている時間を測定する。この閾値ＴＨ_２を超えているデータは、統計的に有意差のあるゆらぎの特徴的変化であり、眠気が強いことを示している。そして、居眠り検出部１４では、閾値ＴＨ_２を超えている時間が時間閾値ＴＨ_３を超えているか否かを判定する。時間閾値ＴＨ_３を超えていない場合、居眠り検出部１４では、居眠り状態でないと判定する。一方、時間閾値ＴＨ_３を超えた場合、居眠り検出部１４では、運転者は居眠り状態と判定する。なお、閾値ＴＨ_２を超えている時間は、連続的に超えている時間でもよいし、あるいは、所定時間内に離散的に超えている時間の積算時間でもよい。 Here, as an example of detecting the dozing state, a case where the dozing state is detected using the above-described heartbeat feature amount (time-series data of density exceeding the threshold) will be described. The dozing detection unit 14 extracts time series data after the specific section A in the first half of the time series data from the time series data of the density exceeding the threshold value of the heart rate obtained by the feature amount extraction unit 12. Then, in the doze detecting section 14 determines whether or exceeds the threshold value TH ₂ at the time series data after specific section A. If it does not exceed the threshold value TH _2, the doze detecting section 14 determines that not doze state. On the other hand, if the threshold is exceeded TH _2, the doze detecting section 14 measures the time that has exceeded the threshold value TH _2. Data exceeds this threshold TH ₂ is a characteristic change in the statistically a significant difference fluctuation indicates that drowsiness is strong. Then, it is determined whether the doze detecting section 14, the time exceeds the threshold value TH ₂ exceeds the time threshold TH _3. If it does not exceed the time threshold TH _3, the doze detecting section 14 determines that not doze state. On the other hand, if it exceeds the time threshold value TH _3, the doze detecting section 14, the driver determines the doze state. The time exceeding the threshold value TH _2, the may be the time that has exceeded continuously, or may be integrated time of time that exceeds discretely within a predetermined time.

降水対応部１５は、特徴量抽出部１２で求めた閾値ＴＨ_２の基本値に閾値補正量Ｂを加算し、その加算値を閾値ＴＨ_２の補正値とする。閾値補正量Ｂは、複数の被験者に対する実験に基づいて、降水がある場合と降水がない場合における眠気の強さの変化と各指標の特徴量の大きさの変化との関係から予め設定される。降水がある場合、上記したように降水による刺激によって運転者の生理状態が変化し、特徴量が相対的に大きくなると予測できる。そこで、閾値ＴＨ_２を大きくして、降水がない場合より居眠り状態を検出し難くする。 Precipitation corresponding unit 15 adds the threshold value correction amount B to the basic value of the threshold TH ₂ obtained by the feature amount extraction unit 12 and the addition value becomes a correction value of the threshold TH _2. The threshold correction amount B is set in advance based on an experiment for a plurality of subjects based on the relationship between changes in the intensity of drowsiness in the presence of precipitation and in the absence of precipitation and the change in the feature amount of each index. . When there is precipitation, as described above, it can be predicted that the physiological state of the driver changes due to the stimulation by precipitation, and the feature amount becomes relatively large. Therefore, by increasing the threshold value TH _2, hard to detect dozing state than without precipitation.

ここでは、降水対応の一例として上記した心拍の特徴量を用いて閾値ＴＨ_２を求める場合について説明する。降水対応部１５では、特定区間Ａにおける閾値超え密度最大値ＭＭと心拍について設定されている閾値補正量Ｂを用いて、式（３）により閾値ＴＨ_２を算出する。この式（３）で求められる閾値ＴＨ_２は、居眠り状態を判定するための閾値の補正値となる。 Here, the case of obtaining the threshold value TH ₂ by using the feature amount of the heartbeat described above as an example of the precipitation correspondence. The rainfall corresponding section 15, by using the threshold value correction amount B set for above threshold density maximum value MM and heart in a specific section A, calculates a threshold value TH ₂ by the equation (3). Threshold TH ₂ obtained by the formula (3) is a correction value of the threshold value for determining the dozing state.

ここでは、閾値ＴＨ_２（補正値）を式（３）で求めたが、式（２）で求めた閾値ＴＨ_２（基本値）に閾値補正量Ｂを加算してもよい。 Here, the threshold value TH ₂ (correction value) is obtained by Expression (3), but the threshold value correction amount B may be added to the threshold value TH ₂ (basic value) obtained by Expression (2).

居眠り検出有無判断部１６は、居眠り検出部１４で居眠り状態を検出したか否かを判断する。居眠り検出部１４で居眠り状態を検出していない場合、居眠り検出有無判断部１６は、居眠り出力部１７での処理を実行させない。一方、居眠り検出部１４で居眠り状態を検出した場合、居眠り検出有無判断部１６では、居眠り出力部１７での処理を実行させる。   The dozing detection presence / absence determination unit 16 determines whether the dozing detection unit 14 has detected a dozing state. When the dozing state is not detected by the dozing detection unit 14, the dozing detection presence / absence determination unit 16 does not execute the process in the dozing output unit 17. On the other hand, when the dozing state is detected by the dozing detection unit 14, the dozing detection presence determination unit 16 causes the dozing output unit 17 to execute processing.

居眠り出力部１７は、居眠り状態であることを告知するために、出力信号を出力手段４に送信する。   The dozing output unit 17 transmits an output signal to the output unit 4 in order to notify that the dozing state is in the dozing state.

図２には、運転中の運転者の眠気レベルＦ（一点鎖線）、降水がない場合の特徴量Ｃ（実線）と降水がある場合の特徴量Ｃ’（破線）、基本値の閾値ＴＨ_２（実線）と補正値の閾値ＴＨ_２’（破線）の時間変化の一例を示している。眠気レベルＦは、運転者の顔の画像に基づく眠気の官能評価で求められる眠気のレベルであり、Ｄ０〜Ｄ５までの６段階で表され、Ｄ０が最も弱く（覚醒度が最も高い状態）であり、Ｄ５が最も強い（覚醒度が最も低い状態）。特徴量は、眠気が強いときに大きくなるような特徴量である。特に、降水がある場合、特徴量Ｃ’は、降水がない場合の特徴量Ｃに比較し、相対的に大きくなる。 FIG. 2 shows the drowsiness level F (dotted line) of the driver during driving, the characteristic amount C (solid line) when there is no precipitation, the characteristic amount C ′ (dashed line) when there is precipitation, and the threshold TH _{2 of the} basic value. An example of a time change between the (solid line) and the threshold value TH ₂ ′ (broken line) of the correction value is shown. The sleepiness level F is a sleepiness level obtained by sensory evaluation of sleepiness based on a driver's face image, and is expressed in six stages from D0 to D5, with D0 being the weakest (state of highest arousal). Yes, D5 is the strongest (state with the lowest arousal level). The feature amount is a feature amount that increases when sleepiness is strong. In particular, when there is precipitation, the feature value C ′ is relatively larger than the feature value C when there is no precipitation.

降水がある場合、特徴量Ｃ’が大きくなるので、閾値ＴＨ_２を基本値のまま維持すると、符号Ａ１で示す箇所において特徴量Ｃ’が閾値ＴＨ_２（基本値）を所定時間超え、居眠り状態が検出される。この箇所では運転者の眠気レベルＦは実際には弱いが、閾値ＴＨ_２（基本値）に基づく判定では居眠り状態が誤検出される。 When there is precipitation, the feature value C ′ increases. Therefore, if the threshold value TH ₂ is maintained at the basic value, the feature value C ′ exceeds the threshold value TH ₂ (basic value) for a predetermined time at the location indicated by the reference symbol A1, and the doze state Is detected. Although the driver's sleepiness level F is actually weak at this point, the dozing state is erroneously detected in the determination based on the threshold value TH ₂ (basic value).

そこで、補正値の閾値ＴＨ_２’に変えると、符号Ａ１で示す箇所において特徴量Ｃ’が閾値ＴＨ_２’（補正値）を超えないので、居眠り状態が検出されない。このように、運転者の眠気レベルＦが弱いときには、閾値ＴＨ_２’（補正値）に基づく判定では居眠り状態が誤検出されない。一方、符号Ａ２，Ａ３で示す箇所では眠気レベルＦが強くなってきており、それに対応して特徴量Ｃ’も大きくなり、この箇所において特徴量Ｃ’が閾値ＴＨ_２’（補正値）を離散的に超え、その超えたときの積算時間が所定時間超え、居眠り状態が検出される。このように、運転者の眠気レベルＦが実際に強くなってきたときには、閾値ＴＨ_２’（補正値）に基づく判定でも居眠り状態が検出される。 Therefore, when the correction value is changed to the threshold value TH ₂ ′, the feature amount C ′ does not exceed the threshold value TH ₂ ′ (correction value) at the location indicated by the reference symbol A1, so that the dozing state is not detected. Thus, when the drowsiness level F of the driver is weak, the dozing state is not erroneously detected in the determination based on the threshold value TH ₂ ′ (correction value). On the other hand, the drowsiness level F is increased at the locations indicated by the reference signs A2 and A3, and the feature value C ′ is also increased correspondingly. At this location, the feature value C ′ is discrete from the threshold value TH ₂ ′ (correction value). The accumulated time when the time exceeds the predetermined time exceeds a predetermined time, and a dozing state is detected. Thus, when the driver's drowsiness level F actually increases, the dozing state is detected even in the determination based on the threshold value TH ₂ ′ (correction value).

ここでは、眠気状態として検出する目標レベルとしては、眠気レベルのＤ２レベルとしている。したがって、降水時には閾値ＴＨ_２を大きくしないと、眠気レベルのＤ２未満でも居眠り状態と検出してしまう。しかし、降水時には閾値ＴＨ_２を大きくすることによって、眠気レベルＤ２未満での誤検出を抑制することができる。 Here, the target level detected as the sleepiness state is the D2 level of the sleepiness level. Therefore, at the time of rainfall when not increase the threshold TH _2, be less than drowsiness level D2 will detect a doze state. However, by increasing the threshold value TH ₂ at the time of rainfall, it is possible to suppress erroneous detection of less than drowsiness level D2.

図１を参照して、居眠り検出装置１の動作について説明する。特に、ＥＣＵ５における処理については図３にフローチャートに沿って説明する。図３は、図１のＥＣＵにおける処理の流れを示すフローチャートである。   With reference to FIG. 1, operation | movement of the dozing detection apparatus 1 is demonstrated. In particular, the processing in the ECU 5 will be described with reference to the flowchart in FIG. FIG. 3 is a flowchart showing the flow of processing in the ECU of FIG.

運転者がエンジンを始動すると、居眠り検出装置１が起動する。そして、居眠り検出装置１では、起動後、以下の動作を繰り返し行う。   When the driver starts the engine, the dozing detection device 1 is activated. And the dozing detection apparatus 1 repeats the following operations after activation.

降水状態取得手段３では、降水状態を取得し、その取得した降水状態を降水状態信号としてＥＣＵ５に送信する。ＥＣＵ５では、降水状態信号を受信し、降水状態のデータを所定のバッファに格納する（Ｓ１）。そして、ＥＣＵ５では、その取得した降水状態に基づいて、現在、降水があるか否かを判断し、その判断結果を降水有無判断結果格納バッファ１１に記憶させる（Ｓ２）。   The precipitation state acquisition means 3 acquires the precipitation state and transmits the acquired precipitation state to the ECU 5 as a precipitation state signal. The ECU 5 receives the precipitation state signal and stores the precipitation state data in a predetermined buffer (S1). Then, the ECU 5 determines whether or not there is currently precipitation based on the acquired precipitation state, and stores the determination result in the precipitation presence / absence determination result storage buffer 11 (S2).

指標計測手段２では、運転者から指標を計測し、その計測した値を指標信号としてＥＣＵ５に送信する。ＥＣＵ５では、指標信号を受信し、指標のデータを所定のバッファに格納する（Ｓ３）。これによって、指標の時系列データが生成されてゆく。そして、ＥＣＵ５では、指標の時系列データから特徴量を抽出するとともに、その特徴量から居眠り状態判定用の閾値ＴＨ_２の基本値を求める（Ｓ４）。 The index measuring means 2 measures an index from the driver and transmits the measured value to the ECU 5 as an index signal. The ECU 5 receives the index signal and stores the index data in a predetermined buffer (S3). Thereby, time-series data of the index is generated. Then, the ECU 5, extracts the feature amount from the time series data of the index to determine the basic values of the threshold TH ₂ for determining the dozing state from the feature amount (S4).

ＥＣＵ５では、降水有無判断結果に基づいて、現在、降水があるか否かを判定する（Ｓ５）。Ｓ５にて降水があると判定した場合、ＥＣＵ５では、降水時の居眠り判定に対応するために、閾値ＴＨ_２の基本値に閾値補正量Ｂを加算して閾値ＴＨ_２の補正値を求める（Ｓ６）。 The ECU 5 determines whether or not there is currently precipitation based on the result of the presence or absence of precipitation (S5). If it is determined that there is no precipitation at S5, the ECU 5, to accommodate dozing determination during precipitation, obtaining a correction value of the threshold TH ₂ by adding the threshold value correction amount B to the basic value of the threshold TH ₂ (S6 ).

Ｓ５にて降水がないと判定した場合又はＳ６の処理を実行すると、ＥＣＵ５では、特徴量が閾値ＴＨ_２を超えるか否かを判定する（Ｓ７）。Ｓ６の処理を実行している場合（降水ありの場合）、閾値ＴＨ_２としては補正値（大きい値）であり、居眠り状態の検出レベルが通常より厳しくなっている。Ｓ６の処理を実行していない場合（降水なしの場合）、閾値ＴＨ_２として基本値（小さい値）であり、居眠り状態の検出レベルが通常レベルである。特徴量が閾値ＴＨ_２を超えていない場合、ＥＣＵ５は、居眠り状態ではないと判定する（Ｓ７）。特徴量が閾値ＴＨ_２を超えている場合、ＥＣＵ５では、閾値ＴＨ_２を超えている時間が時間閾値ＴＨ_３を超えている場合には居眠り状態検出と判定し、時間閾値ＴＨ_３を超えていない場合には居眠り状態でないと判定する（Ｓ７）。 When executing the processing in the case or S6 is determined that there is no precipitation in S5, it is determined whether or not the ECU 5, the feature amount exceeds a threshold value TH ₂ (S7). When running the process in S6 (case with precipitation), as the threshold TH ₂ is a correction value (large value), the detection level of the dozing state is stricter than usual. (Without precipitation) if not executing the processing of S6, a basic value as a threshold value TH ₂ (low value), the detection level of the dozing state is normal level. When the characteristic amount does not exceed the threshold value TH _2, ECU 5 determines that it is not the doze state (S7). If the feature amount exceeds the threshold value TH _2, the ECU 5, when the time exceeds the threshold value TH ₂ exceeds the time threshold TH ₃ is determined to dozing state detection, does not exceed the time threshold TH ₃ In this case, it is determined that the device is not in a dozing state (S7).

ＥＣＵ５では、Ｓ７での処理での居眠り状態検出の有無を判定する（Ｓ８）。Ｓ８にて居眠り状態検出なしと判定した場合、ＥＣＵ５では、今回の処理を終了し、一定時間経過後に次回の処理を行う。Ｓ８にて居眠り状態検出ありと判定した場合、ＥＣＵ５では、出力信号を出力手段４に送信する（Ｓ９）。出力信号を受信すると、出力手段４では、運転者が居眠り状態であること知らせるための出力を行う。この出力によって、運転者が居眠り状態であることに気づきあるいは運転者以外の者が運転者が居眠り状態であることに知って運転者を喚起する。これによって、運転者の眠気が弱まってゆくか、あるいは、運転者が休息を取る。   The ECU 5 determines whether or not a dozing state is detected in the process at S7 (S8). If it is determined in S8 that no dozing state is detected, the ECU 5 ends the current process and performs the next process after a predetermined time has elapsed. If it is determined in S8 that the dozing state is detected, the ECU 5 transmits an output signal to the output means 4 (S9). When the output signal is received, the output means 4 performs an output for notifying that the driver is in a dozing state. By this output, the driver notices that the driver is dozing, or a person other than the driver knows that the driver is dozing and alerts the driver. As a result, the sleepiness of the driver is weakened or the driver takes a rest.

この居眠り検出装置１によれば、降水がある場合には居眠り状態を通常より検出し難くすることにより、降水による刺激によって運転者の特徴量が大きくなっている状況でも居眠り状態の誤検出を抑制でき、居眠り検出精度が向上する。また、居眠り検出装置１によれば、居眠り判定用の閾値ＴＨ_２を変更するだけの簡単な方法により、居眠り状態を通常より検出し難くすることができる。 According to this drowsiness detection device 1, by making it difficult to detect a dozing state than usual when there is rain, it is possible to suppress erroneous detection of a dozing state even in a situation where a driver's feature amount is increased due to a stimulus due to precipitation. This improves the accuracy of detection of falling asleep. Further, according to the doze detecting device 1, the simple way simply by changing the threshold value TH ₂ for determination dozing it can be difficult to detect the dozing state than normal.

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。   As mentioned above, although embodiment which concerns on this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.

例えば、本実施の形態では車両の運転者の居眠りを判定する居眠り検出装置に適用したが、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの様々な人の居眠りを判定するために利用してもよい。   For example, in this embodiment, the present invention is applied to a drowsiness detection device that determines the drowsiness of a driver of a vehicle. However, the drowsiness of various people such as other vehicle drivers, various plant supervisors, and nighttime workers is determined. May be used to

また、本実施の形態では居眠り判定するための装置に適用したが、ＣＤ−ＲＯＭなどの記憶媒体に格納されたプログラムやインタネットなどのネットワークを介して利用可能なプログラムなどに適用し、このようなプログラムをコンピュータ上で実行することによって居眠りを判定する構成としてもよい。   In the present embodiment, the present invention is applied to a device for determining doze. However, the present invention is applied to a program stored in a storage medium such as a CD-ROM or a program that can be used via a network such as the Internet. It is good also as a structure which determines a dozing by running a program on a computer.

また、本実施の形態では心拍の特徴量を利用して居眠り状態を判定する一例を示したが、脳波、脈波、呼吸、瞬き、顔や体のアクションなどから求められる眠気（覚醒度）に応じて変化する特徴量を利用して居眠り状態を判定する構成としてもよいし、あるいは、これらの特徴量を幾つか組み合わせて居眠り状態を判定する構成としてもよい。また、心拍の特徴量の求める方法も、例で示した方法以外の方法も適用可能である。   In the present embodiment, an example of determining a doze state using the feature amount of the heartbeat has been described. However, the sleepiness (wakefulness) obtained from brain waves, pulse waves, breathing, blinking, face and body actions, and the like is shown. A configuration may be adopted in which a dozing state is determined using feature amounts that change in response, or a configuration in which a dozing state is determined by combining several of these feature amounts may be employed. In addition, a method other than the method shown in the example can be applied to the method for obtaining the heartbeat feature amount.

また、本実施の形態では降水対応処理として閾値ＴＨ_２を降水のある場合とない場合とに応じて１段階だけ大きくする構成としたが、降水量に応じて閾値ＴＨ_２を複数段階で大きくしてゆく構成としてもよい。つまり、降水量が多いほど、運転者に対する刺激が大きくなり、特徴量が大きく変化すると予測されるので、閾値補正量Ｂとして大きい値を設定する。 In the present embodiment, the threshold TH ₂ is increased by one step depending on whether the precipitation is present or not, but the threshold TH ₂ is increased in a plurality of steps according to the amount of precipitation. It is good also as a structure to go. That is, the greater the amount of precipitation, the greater the driver's irritation and the greater the feature amount is predicted to change, so a larger value is set as the threshold correction amount B.

また、本実施の形態では特徴量に対する閾値ＴＨ_２を変更することによって居眠り状態を検出し難くする構成としたが、居眠り状態を検出し難くする方法としては特徴量に対する閾値ＴＨ_２を変更する以外の方法でも適用可能であり、例えば、特徴量が閾値ＴＨ_２を超えた時間に対する時間閾値ＴＨ_３を変更することによって居眠り状態を検出し難くするようにしてもよいし、特徴量を求めるときに居眠り状態と検出され難い特徴量として求めるようにしてもよい。 Also, except in this embodiment it has a configuration to make it difficult to detect the dozing state by changing the threshold value TH ₂ for the feature quantity, which changes the threshold value TH ₂ for the feature quantity as a way to make it difficult to detect a doze state also is applicable in the process, for example, may be difficult to detect the dozing state by changing the time threshold TH ₃ versus time characteristic amount exceeds the threshold value TH _2, when determining the characteristic quantity You may make it obtain | require as a feature-value which is hard to be detected as a dozing state.

また、本実施の形態では特徴量から居眠り状態判定用の閾値ＴＨ_２を求める構成としたが、閾値ＴＨ_２を予め設定した値としてもよい。 In the present embodiment, the threshold TH ₂ for determining the dozing state is obtained from the feature amount. However, the threshold TH ₂ may be set in advance.

また、本実施の形態では居眠り状態（覚醒度が低い状態）か否か検出する構成としたが、覚醒度（眠気レベル）を段階的に推定する構成としてもよい。   Further, in the present embodiment, it is configured to detect whether or not it is a dozing state (a state of low arousal level), but it may be configured to estimate the arousal level (drowsiness level) step by step.