KR20230092676A - System and method for providing communication service through hidden layer calculation based on artificial intelligence - Google Patents

인공지능 기반의 히든 레이어 연산을 통한 커뮤니케이션 서비스 제공 장치 및 방법이 개시된다. 상기 인공지능을 기반으로 서비스 제공 플랫폼을 통해 커뮤니케이션 서비스를 제공하는 장치는, 상기 서비스 제공 플랫폼을 통해 사용자의 소셜 네트워크 서비스를 연동되고, 상기 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터를 입력하여 커뮤니케이션을 수행하는 사용자 단말; 및 상기 사용자 단말이 상기 소셜 네트워크 서비스를 기반으로 입력한 대화 데이터를 획득하고, 상기 획득된 대화 데이터를 기 학습된 머신러닝 모델에 입력하여 언어 패턴을 분석하고, 상기 분석 결과를 기반으로 추천 답변을 출력하는 서비스 제공 장치를 포함할 수 있다. 상기에서, 상기 언어 패턴은, 기 분류된 대화 종류에 대한 빈도를 분석한 것이고, 상기 기 분류된 대화 종류에는, 긍정/중립/부정 관련 언어, 이해득실 관련 언어, 시간 관련 언어 및 감각 관련 언어가 포함되는 것을 특징으로 한다.An apparatus and method for providing communication services through artificial intelligence-based hidden layer calculation are disclosed. A device that provides a communication service through a service providing platform based on artificial intelligence links a user's social network service through the service providing platform, and inputs conversation data based on the linked social network service to perform communication. a user terminal that performs; and obtaining conversation data input by the user terminal based on the social network service, inputting the acquired conversation data to a pre-learned machine learning model to analyze language patterns, and based on the analysis result, recommending answers. It may include a service providing device that outputs. In the above, the language pattern is an analysis of the frequency of pre-classified conversation types, and the pre-classified conversation types include positive/neutral/negative related language, understanding gain/loss related language, time related language, and sensory related language. characterized by inclusion.

인공지능 기반의 히든 레이어 연산을 통한 커뮤니케이션 서비스 제공 장치 및 방법{SYSTEM AND METHOD FOR PROVIDING COMMUNICATION SERVICE THROUGH HIDDEN LAYER CALCULATION BASED ON ARTIFICIAL INTELLIGENCE}Apparatus and method for providing communication service through hidden layer calculation based on artificial intelligence

본 개시는 커뮤니케이션 서비스에 대한 것으로, 보다 구체적으로 인공지능을 기반 인식 단계의 히든 레이어 연산을 통한 커뮤니케이션 서비스를 제공하는 인공지능 기반 커뮤니케이션 서비스 제공 장치 및 방법에 관한 것이다.The present disclosure relates to a communication service, and more specifically, to an artificial intelligence-based communication service providing apparatus and method for providing a communication service through hidden layer calculation in an artificial intelligence-based recognition step.

최근 스마트폰의 보급이 늘어남에 따라, 언제 어디서나 인터넷에 접속할 수 있는 환경이 제공되고 있다.Recently, as the spread of smart phones increases, an environment in which users can access the Internet anytime, anywhere is provided.

이에 따라, 스마트폰의 사용자들은 단순히 통화나 문자를 주고받는 이전의 휴대전화의 기능에서 벗어나, 자신의 필요에 따라 다양한 어플리케이션을 설치하여 컴퓨터가 없어도 인터넷 접속은 물론 그 밖에 여러 가지 작업을 수행할 수 있게 되었다.Accordingly, smartphone users can move away from the functions of previous cell phones that simply send and receive calls or text messages, and install various applications according to their needs to access the Internet and perform various other tasks without a computer. there has been

대부분의 스마트폰 사용자는 다른 사용자와 메시지, 사진, 영상, 문서 등을 주고받을 수 있는 이른바 SNS(Social Network Service, 소셜 네트워크 서비스)를 사용하고 있다. Most smartphone users use a so-called SNS (Social Network Service) to send and receive messages, photos, videos, documents, etc. with other users.

나아가, 최근에는 인공지능 챗봇을 통해 실제 대화 상대가 없이도 고민 상담, 일상 대화 등의 커뮤니케이션 서비스나, 연예인과 대화를 하는 듯한 커뮤니케이션 서비스를 제공하는 SNS에 대한 개발 또한 활발하게 진행되고 있다.Furthermore, in recent years, development of SNS that provides communication services such as counseling on worries and daily conversations without an actual conversation partner through artificial intelligence chatbots, or communication services as if having a conversation with a celebrity is also actively underway.

이러한 커뮤니케이션 서비스는 서로 간의 커뮤니케이션이 매끄럽게 이어지지 않거나 대화 상대, 상태 또는 상황에 걸맞지 않는 답변이 계속되면 사용자들의 흥미를 유발할 수 없는 문제점이 있다.Such a communication service has a problem in that it cannot arouse users' interest if communication between them is not smoothly continued or if an answer inappropriate to the conversation partner, status or situation continues.

따라서, 단순 흥미 위주의 커뮤니케이션뿐만 아니라 스피치 훈련, 상담/협상 보조, 마케팅 등에 활용될 수 있는 커뮤니케이션 서비스를 제공할 수 있도록 하는 기술이 개발될 필요가 있다.Therefore, it is necessary to develop a technology capable of providing communication services that can be used for speech training, counseling/negotiation assistance, marketing, and the like, as well as simple interest-oriented communication.

한국공개특허공보 제10-2012-0137568호 (공개일: 2012.12.24)Korean Patent Publication No. 10-2012-0137568 (Publication date: 2012.12.24)

상술한 바와 같은 문제점을 해결하기 위한 본 개시는 인공지능을 기반 인식 단계의 히든 레이어 연산을 통한 다양한 분야에 다양한 상황에 적합한 추천 답변(또는 예상 내지 예측 답변)을 제공하는 인공지능 기반 커뮤니케이션 서비스 제공 장치 및 방법을 제공하는 것이다.In order to solve the above problems, the present disclosure provides an artificial intelligence-based communication service providing device that provides recommended answers (or expected or predicted answers) suitable for various situations in various fields through hidden layer calculation in an artificial intelligence-based recognition step. and to provide a method.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 개시의 일면에 따른 인공지능 기반 커뮤니케이션 상황 예측 장치는, 통신모듈; 커뮤니케이션 상황을 예측하기 위해 필요한 각종 데이터 및 복수 개의 머신러닝 모델을 저장하고, 커뮤니케이션 상황을 예측하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 저장된 적어도 하나의 프로세스를 기반으로 각각의 모듈을 제어하는 제어모듈을 포함하며, 상기 제어모듈은, 서비스 제공 플랫폼을 통해 연동된 사용자의 소셜 네트워크 서비스에 대화 데이터가 입력되면, 상기 입력된 대화 데이터를 획득하고, 상기 복수 개의 머신러닝 모델을 기반으로 상기 획득된 대화 데이터를 이용하여 커뮤니케이션 상황을 예측하고, 상기 예측 결과를 기반으로 생성된 답변의 출력을 제어하고, 상기 복수 개의 머신러닝 모델은, 제1 단계 내지 제4 단계의 인식 단계 각각에 해당하는 히든 레이어의 연산을 수행하고, 상기 제1 단계 내지 제4 단계는 감각, 감정, 판단 및 추론으로 분류된 각각의 단계인 것을 특징으로 한다.An artificial intelligence-based communication situation prediction device according to an aspect of the present disclosure for solving the above problems includes a communication module; a storage module for storing various data and a plurality of machine learning models necessary for predicting a communication situation, and storing at least one process for predicting a communication situation; and a control module controlling each module based on the at least one stored process, wherein the control module is configured to, when conversation data is input to a user's social network service linked through a service providing platform, the input conversation Acquiring data, predicting a communication situation using the acquired conversation data based on the plurality of machine learning models, controlling the output of answers generated based on the prediction result, and the plurality of machine learning models , performs operation of hidden layers corresponding to each of the first to fourth stages of recognition, and the first to fourth stages are each stage classified into sensation, emotion, judgment, and inference. .

본 개시의 다른 일면에 따른 전자 장치에 의해 수행되어, 인공지능 기반 커뮤니케이션 상황을 예측하는 방법은, 커뮤니케이션 상황 예측에 필요한 각종 데이터 및 복수 개의 머신러닝 모델을 저장하고, 커뮤니케이션 상황을 예측하기 위한 적어도 하나의 프로세스를 저장하는 단계; 서비스 제공 플랫폼을 통해 연동된 사용자의 소셜 네트워크 서비스에 대화 데이터가 입력되면, 상기 입력된 대화 데이터를 획득하는 단계; 및 상기 복수 개의 머신러닝 모델을 기반으로 상기 획득된 대화 데이터를 이용하여 커뮤니케이션 상황을 예측하고, 상기 예측 결과를 기반으로 생성된 답변의 출력을 제어하는 단계를 포함하되, 상기 복수 개의 머신러닝 모델은, 제1 단계 내지 제4 단계의 인식 단계 각각에 해당하는 히든 레이어의 연산을 수행하고, 상기 제1 단계 내지 제4 단계는 감각, 감정, 판단 및 추론으로 분류된 각각의 단계인 것을 특징으로 한다.A method for predicting an artificial intelligence-based communication situation, performed by an electronic device according to another aspect of the present disclosure, stores various data and a plurality of machine learning models necessary for predicting a communication situation, and includes at least one method for predicting a communication situation. saving the process of; obtaining the input conversation data when conversation data is input to a social network service of a user linked through a service providing platform; and predicting a communication situation using the obtained conversation data based on the plurality of machine learning models and controlling an output of an answer generated based on the prediction result, wherein the plurality of machine learning models , performs operation of hidden layers corresponding to each of the first to fourth stages of recognition, and the first to fourth stages are each stage classified into sensation, emotion, judgment, and inference. .

본 개시의 일면에 따른 인공지능 기반 커뮤니케이션 상황 예측 시스템은, 단말; 및 서비스 제공 플랫폼을 상기 단말에 제공하는 상황 예측 장치를 포함하되, 상기 상황 예측 장치는, 커뮤니케이션 상황을 예측하기 위해 필요한 각종 데이터 및 복수 개의 머신러닝 모델을 저장하고, 커뮤니케이션 상황을 예측하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈과, 상기 저장된 적어도 하나의 프로세스를 기반으로 각각의 모듈을 제어하는 제어모듈을 포함하되, 상기 제어모듈은, 상기 제공된 서비스 제공 플랫폼을 통해 연동된 상기 단말 사용자의 소셜 네트워크 서비스에 대화 데이터가 입력되면, 상기 입력된 대화 데이터를 획득하고, 상기 복수 개의 머신러닝 모델을 기반으로 상기 획득된 대화 데이터를 이용하여 커뮤니케이션 상황을 예측하고, 상기 예측 결과를 기반으로 생성된 답변이 상기 단말상의 출력을 제어하고, 상기 복수 개의 머신러닝 모델은, 제1 단계 내지 제4 단계의 인식 단계 각각에 해당하는 히든 레이어의 연산을 수행하고, 상기 제1 단계 내지 제4 단계는 감각, 감정, 판단 및 추론으로 분류된 각각의 단계인 것을 특징으로 한다.An artificial intelligence-based communication situation prediction system according to an aspect of the present disclosure includes: a terminal; and a situation prediction device for providing a service providing platform to the terminal, wherein the situation prediction device stores various data and a plurality of machine learning models necessary for predicting a communication situation, and at least one device for predicting a communication situation. A storage module for storing processes of the terminal user and a control module for controlling each module based on the stored at least one process, wherein the control module includes a social network of the terminal user linked through the provided service providing platform. When conversation data is input to the service, the input conversation data is acquired, a communication situation is predicted using the acquired conversation data based on the plurality of machine learning models, and an answer generated based on the prediction result is The output on the terminal is controlled, and the plurality of machine learning models perform calculations of hidden layers corresponding to each of the first to fourth stages of recognition, and the first to fourth stages are sensory and emotional. It is characterized in that each step is classified into judgment and reasoning.

이 외에도, 본 개시를 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present disclosure, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.

상술한 본 개시에 따르면, 인공지능을 기반으로 분석된 언어 패턴에 기초하여 단순 흥미 위주의 커뮤니케이션뿐만 아니라 스피치 훈련, 상담/협상 보조, 마케팅 등 다양한 분야의 다양한 상황에 맞는 추천 답변(또는 예상 내지 예측 답변)이 포함된 커뮤니케이션 서비스를 제공할 수 있다.According to the present disclosure described above, based on language patterns analyzed based on artificial intelligence, not only simple interest-oriented communication, but also recommended answers (or predictions or predictions) suitable for various situations in various fields such as speech training, counseling/negotiation assistance, marketing, etc. can provide communication services including answers).

본 개시에 따르면, 상기 커뮤니케이션 서비스를 이용 사용자의 편의성을 향상시켜 서비스 만족도를 개선시킬 수 있다.According to the present disclosure, it is possible to improve service satisfaction by improving user convenience using the communication service.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 개시의 일 실시예에 따른 인공지능 기반 커뮤니케이션 서비스 제공 시스템의 네트워크 구조를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 상황 예측 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 커뮤니케이션 상황 예측 장치의 데이터 처리 절차를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 학습 단계에서 제1 학습 모델 및 제2 학습 모델에 대한 학습을 수행하는 절차를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 4개의 인식 단계 각각에 해당하는 히든 레이어의 조합 순서에 따라 결과를 도출하는 일 예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반 커뮤니케이션 상황 예측 방법을 나타내는 순서도이다.
도 7 내지 9는 본 개시의 일 실시예에 따른 뉴럴 네트워크를 설명하기 위해 도시한 도면이다.1 is a diagram showing a network structure of an artificial intelligence-based communication service providing system according to an embodiment of the present disclosure.
2 is a block diagram showing the configuration of an apparatus for predicting a communication situation according to an embodiment of the present invention.
3 is a diagram illustrating a data processing procedure of an apparatus for predicting a communication situation according to an embodiment of the present invention.
4 is a diagram illustrating a procedure for performing learning on a first learning model and a second learning model in a learning step according to an embodiment of the present invention.
5 is a diagram illustrating an example of deriving a result according to a combination sequence of hidden layers corresponding to each of four recognition steps according to an embodiment of the present invention.
6 is a flowchart illustrating a method for predicting a communication situation based on artificial intelligence according to an embodiment of the present invention.
7 to 9 are diagrams for explaining a neural network according to an embodiment of the present disclosure.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present disclosure, and methods of achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms, but only the present embodiments make the disclosure of the present disclosure complete, and are common in the art to which the present disclosure belongs. It is provided to fully inform the person skilled in the art of the scope of the present disclosure, which is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present disclosure. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present disclosure.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which this disclosure belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 인공지능 기반 커뮤니케이션 서비스 제공 시스템(10)의 네트워크 구조를 나타내는 도면이다.1 is a diagram showing a network structure of an artificial intelligence-based communication service providing system 10 according to an embodiment of the present disclosure.

도 1을 참조하면, 본 개시의 일 실시예에 따른 인공지능 기반 커뮤니케이션 서비스 제공 시스템(이하, '서비스 제공 시스템'이라 칭함)(10)은 커뮤니케이션 상황 예측 장치(이하, '상황 예측 장치'라 칭함)(100) 및 사용자 단말(200)을 포함하여 구성될 수 있다.Referring to FIG. 1 , an artificial intelligence-based communication service providing system (hereinafter referred to as 'service providing system') 10 according to an embodiment of the present disclosure is a communication situation predicting device (hereinafter referred to as 'situation predicting device') ) (100) and the user terminal (200).

상황 예측 장치(100)는 서비스 제공 플랫폼을 기반으로 커뮤니케이션 서비스를 제공하는 제공자(Service Provider, 서비스 제공업체)의 장치로서, 일 예로 서비스 서버(Service Server)일 수 있다.The situation prediction device 100 is a device of a provider (Service Provider) that provides communication services based on a service providing platform, and may be, for example, a service server.

구체적으로, 상황 예측 장치(100)는 사용자 단말(200)이 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터를 입력하면, 그 입력된 대화 데이터를 획득한다. 상황 예측 장치(100)는 획득된 대화 데이터를 복수 개의 머신러닝(Machine Learning) 모델을 기반으로 커뮤니케이션 상황을 예측하고, 예측 결과를 기반으로 답변을 출력할 수 있다. 이 때, 출력되는 답변은 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스 상에 표시되어 사용자에게 제공될 수 있다.Specifically, when the user terminal 200 inputs conversation data based on a social network service linked to a service providing platform, the situation prediction device 100 acquires the input conversation data. The situation predicting device 100 may predict a communication situation based on a plurality of machine learning models based on the obtained conversation data, and output an answer based on the prediction result. In this case, the output answer may be displayed on a social network service linked to the service providing platform and provided to the user.

여기서, 복수 개의 머신러닝 모델은 상황 예측 장치(100)에 기 설정된 기간 동안 누적 저장된 대화 데이터를 기반으로 언어(또는 언어 패턴)를 분석하고, 분석된 언어 패턴에 대한 유효성 피드백 데이터(feedback data)를 수집 및 반영하여 구축된 학습 데이터를 이용하여 학습을 수행한 것일 수 있다. 이 때, 상기 언어 분석을 위해 SP-BERT, MRC/QA, Text Analysis, Dialog System 및 GPT-3, 4, … n 중 적어도 하나가 이용될 수 있고, 머신러닝 알고리즘으로서 NLP(Natural Language Processing), CNN(Convolution Neural Network), R-CNN, DNN, Visual Analytics, Visual Understanding, Video Synthesis 중 적어도 하나가 적용될 수 있다.Here, the plurality of machine learning models analyze language (or language patterns) based on conversation data accumulated and stored for a predetermined period in the situation prediction device 100, and provide validity feedback data for the analyzed language patterns. Learning may be performed using learning data built by collecting and reflecting. At this time, SP-BERT, MRC / QA, Text Analysis, Dialog System and GPT-3, 4, ... At least one of n may be used, and as a machine learning algorithm, at least one of NLP (Natural Language Processing), CNN (Convolution Neural Network), R-CNN, DNN, Visual Analytics, Visual Understanding, and Video Synthesis may be applied.

한편, 상황 예측 장치(100)는 언어를 분석할 시, 대화 종류로서 긍정/중립/부정 관련 언어, 이해득실(득/실) 관련 언어, 시간(과거/현재/미래) 관련 언어 및 감각(시각/청각/촉각/생각) 관련 언어로 분류될 수 있다.On the other hand, when the situation predicting device 100 analyzes language, as conversation types, language related to positive/neutral/negative, language related to gain/loss of understanding, language related to time (past/present/future), and senses (visual) /hearing/tactile/thinking) can be classified as related languages.

일 실시예로서, 상황 예측 장치(100)는 언어를 분석할 시, 코퍼스 토큰화 기반 어노테이션, 미완결 텍스트 분석, 기 설정된 주기 간 컨텍스트 분석 및 이미지 데이터 분석 중 적어도 하나의 분석 방식을 이용할 수 있다. As an embodiment, the context prediction apparatus 100 may use at least one analysis method among corpus tokenization-based annotation, incomplete text analysis, context analysis between predetermined periods, and image data analysis when analyzing language.

사용자 단말(200)은 커뮤니케이션 서비스를 제공받고자 하는 사용자의 단말로서, 서비스 제공 플랫폼을 통해 사용자 자신이 원하는 소셜 네트워크 서비스를 연동하고, 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터를 입력하여 커뮤니케이션을 수행할 수 있다.The user terminal 200 is a terminal of a user who wants to receive a communication service, and can perform communication by interlocking a social network service desired by the user through a service providing platform and inputting conversation data based on the interlocked social network service. can

사용자는 커뮤니케이션 서비스를 제공받기 위해 사용자 단말(200)에 별도의 어플리케이션 또는 프로그램을 설치할 수도 있고, 사용자 단말(200)을 통해 웹 페이지에 접속하여 커뮤니케이션 서비스를 제공받을 수도 있다.The user may install a separate application or program in the user terminal 200 to receive the communication service, or access a web page through the user terminal 200 to receive the communication service.

한편, 사용자 단말(200)은 사용자가 원하는 다수의 응용 프로그램(즉, 어플리케이션)을 설치하여 실행할 수 있는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera), 기타 이동통신 단말 등일 수 있으며, 앞서 언급한 단말로 한정하지 않는다.Meanwhile, the user terminal 200 includes a computer, an ultra mobile PC (UMPC), a workstation, a net-book, and a personal digital assistant (PDA) capable of installing and running a plurality of application programs (ie, applications) desired by the user. ), portable computer, web tablet, wireless phone, mobile phone, smart phone, pad, smart watch, wearable It may be a wearable terminal, an e-book, a portable multimedia player (PMP), a portable game machine, a navigation device, a black box or digital camera, and other mobile communication terminals. And, it is not limited to the above-mentioned terminal.

한편, 서비스 제공 플랫폼은 복수의 사용자가 이용할 수 있는 플랫폼으로서, 사용자 단말(200) 또한 복수 개일 수 있으며, 그 개수를 한정하지 않는다.Meanwhile, the service providing platform is a platform that can be used by a plurality of users, and the number of user terminals 200 may also be plural, and the number is not limited.

도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 상황 예측 장치(100)의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of an apparatus 100 for predicting a communication state according to an embodiment of the present invention.

도 2를 참조하면, 상황 예측 장치(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(150)을 포함하여 구성될 수 있다.Referring to FIG. 2 , the situation prediction device 100 may include a communication module 110 , a storage module 130 and a control module 150 .

통신모듈(110)은 사용자 단말(200)과 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다. The communication module 110 is for performing communication with the user terminal 200 and transmits and receives a radio signal in a communication network according to wireless Internet technologies.

이 때, 무선 인터넷 기술로 예를 들어, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 서비스 제공 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.At this time, wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc. (100) transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above.

근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 통해 상황 예측 장치(100) 및 사용자 단말(200) 간 무선 통신이 지원될 수 있다. 이 때, 근거리 무선 통신망에는 근거리 무선 개인 통신망(Wireless Personal Area Networks)도 포함될 수 있다.As for short range communication, Bluetooth™ RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology, at least one of which may be used to support short-range communication, such as a situation prediction device (Wireless Area Networks) 100) and the user terminal 200, wireless communication may be supported. At this time, a local area wireless communication network may also include a wireless personal area network (Wireless Personal Area Networks).

저장모듈(130)은 상황 예측 장치(100)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장할 수 있다. 상황 예측 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 어플리케이션(application)), 상황 예측 장치(100)의 동작을 위한 데이터들, 명령어들이 저장모듈(130)에 저장될 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 제어모듈(150)에 저장되고, 상황 예측 장치(100) 상에 설치되어, 제어모듈(150)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.The storage module 130 may store data and/or various information supporting various functions of the situation prediction device 100 . A plurality of application programs (applications) driven by the situation prediction device 100, data for operation of the situation prediction device 100, and commands may be stored in the storage module 130. At least some of these application programs may be downloaded from an external server through wireless communication. Meanwhile, the application program may be stored in the control module 150, installed on the situation prediction device 100, and driven to perform an operation (or function) by the control module 150.

구체적으로, 저장모듈(130)에는 적어도 하나의 사용자 정보, 각 사용자의 사용자 단말(200)로부터 획득된 대화 데이터, 학습 데이터, 복수 개의 머신러닝 모델 및 적어도 하나의 프로세스 등이 저장될 수 있다. 한편, 저장모듈(130)에 저장되는 각 정보는 필요에 따라 각각의 시간정보와 함께 저장될 수 있다.Specifically, at least one piece of user information, conversation data obtained from the user terminal 200 of each user, learning data, a plurality of machine learning models, and at least one process may be stored in the storage module 130 . Meanwhile, each information stored in the storage module 130 may be stored together with each time information as needed.

여기서, 본 개시의 일 실시예에 따른 복수 개의 머신러닝 모델은 예를 들어, 4개의 인식 단계 즉, 제1 단계 내지 제4 단계의 인식 단계 각각에 해당하는 히든 레이어(Hidden Layer)의 연산을 수행하기 위한 것이고, 상기 개별 단계는 각각 감각, 감정, 판단 및 추론으로 분류된 단계일 수 있다. 복수 개의 머신러닝 모델은 상기 4개의 인식 단계 각각에 해당하는 히든 레이어의 조합 순서에 따른 출력값을 도출하고, 최적값을 검증함으로써 구축된 것일 수 있다.Here, the plurality of machine learning models according to an embodiment of the present disclosure, for example, perform operation of hidden layers corresponding to four recognition steps, that is, each of the first to fourth recognition steps. In order to do so, the individual steps may be steps classified into sensation, emotion, judgment, and inference, respectively. A plurality of machine learning models may be constructed by deriving an output value according to a combination sequence of hidden layers corresponding to each of the four recognition steps and verifying an optimal value.

예를 들어, 복수 개의 머신러닝 모델이 제1 학습 모델 및 제2 학습 모델을 포함하는 경우, 제1 학습 모델은 단순 신경망 구조를 갖도록 구성될 수 있고, 제2 학습 모델은 딥러닝 신경망 구조를 갖도록 구성될 수 있다.For example, when a plurality of machine learning models include a first learning model and a second learning model, the first learning model may be configured to have a simple neural network structure, and the second learning model may have a deep learning neural network structure. can be configured.

저장모듈(130)은 메모리를 포함할 수 있으며, 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.The storage module 130 may include memory, and the memory may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Memory) Read-Only Memory) may include at least one type of storage medium among a magnetic memory, a magnetic disk, and an optical disk. In addition, the memory may store information temporarily, permanently or semi-permanently, and may be provided in a built-in or removable type.

제어모듈(150)은 서비스 제공 장치(100) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 저장모듈(130)에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행하며, 서비스 제공 플랫폼을 이용하는 각 사용자에게 적절한 정보 또는 기능이 제공되도록 제어하거나 처리할 수 있다.The control module 150 controls all components in the service providing device 100 to process input or output signals, data, information, etc., or executes commands, algorithms, and application programs stored in the storage module 130 to process various processes. and can be controlled or processed so that appropriate information or functions are provided to each user using the service providing platform.

구체적으로, 제어모듈(150)은 사용자 단말(200)을 통해 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터가 입력되면, 입력된 대화 데이터를 획득하고, 상기 복수 개의 머신러닝 모델을 기반으로 그 획득된 대화 데이터를 이용하여 커뮤니케이션 상황을 예측하고, 상기 예측 결과를 기반으로 답변을 출력할 수 있다.Specifically, when conversation data is input based on a social network service linked to a service providing platform through the user terminal 200, the control module 150 obtains the input conversation data, and based on the plurality of machine learning models. As a result, a communication situation can be predicted using the obtained conversation data, and an answer can be output based on the prediction result.

한편, 제어모듈(150)은, 기 설정된 머신러닝 알고리즘을 이용하여 코퍼스 토큰화 어노테이션, 미완결 텍스트 분석, 기 설정된 주기 간 컨텍스트 분석 및 이미지 데이터 분석 중 적어도 하나를 수행함으로써, 언어를 분석할 수 있다.Meanwhile, the control module 150 may analyze language by performing at least one of corpus tokenization annotation, incomplete text analysis, context analysis between preset periods, and image data analysis using a preset machine learning algorithm.

도 3은 본 개시의 일 실시예에 따른 커뮤니케이션 상황 예측 장치(100)의 데이터 처리 절차를 나타내는 도면이다.3 is a diagram illustrating a data processing procedure of the apparatus 100 for predicting a communication situation according to an embodiment of the present disclosure.

도 3을 참조하면, 학습 단계(Training Session)에서 서비스 제공 플랫폼에 연동된 사용자의 소셜 네트워크 서비스에 대해 기 설정된 기간 동안 누적 저장된 대화 데이터를 획득하고, 획득된 대화 데이터로부터 데이터 셋을 생성하여 기 설정된 알고리즘을 기반으로 복수 개의 머신러닝 모델을 학습할 수 있다. 이 때, 머신러닝 모델은 대화 데이터가 누적 저장됨에 따라, 기 설정된 주기에 따라 학습을 반복 수행함으로써 피팅(fitting) 또는 튜닝(tuning)되어 그 성능이 점차 향상될 수 있다.Referring to FIG. 3 , in a training session, conversation data accumulated and stored for a preset period of time for a user's social network service linked to a service providing platform is acquired, and a data set is created from the acquired conversation data to obtain a preset Multiple machine learning models can be trained based on the algorithm. In this case, as conversation data is accumulated and stored, the performance of the machine learning model may be gradually improved by being fitted or tuned by repeating learning according to a predetermined cycle.

이후, 실행 단계(Application Session)에서 서비스 제공 플랫폼에 연동된 사용자의 소셜 네트워크를 통해 대화 데이터가 입력되면, 전술한 바와 같이 학습 단계에서 기 학습된 복수 개의 머신러닝 모델을 이용하여 커뮤니케이션 상황을 예측하고, 예측 결과를 기반으로 답변이 출력되도록 제어함으로써 상담(Couseling) 등이 수행되도록 할 수 있다.Then, when conversation data is input through the user's social network linked to the service providing platform in the execution stage (Application Session), as described above, the communication situation is predicted using a plurality of pre-learned machine learning models in the learning stage , counseling, etc. can be performed by controlling the output of an answer based on the prediction result.

도 4는 본 개시의 일 실시예에 따라 학습 단계에서 제1 학습 모델 내지 제3 학습 모델에 대한 학습을 수행하는 절차를 나타내는 도면이다.4 is a diagram illustrating a procedure for performing learning on a first to third learning model in a learning step according to an embodiment of the present disclosure.

도 4를 참조하면, 학습 단계에서 데이터 셋을 단순 신경망 구조를 갖는 제1 학습 모델에 입력하여 학습을 수행한 후, 1차적으로 검수가 수행될 수 있다.Referring to FIG. 4 , in the learning step, after learning is performed by inputting a data set to a first learning model having a simple neural network structure, inspection may be performed primarily.

다음으로, 상기 검수가 완료된 데이터 셋을 딥러닝 신경망 구조를 갖는 제2 학습 모델에 입력하여 학습을 수행한 후, 2차적으로 검수가 수행될 수 있다.Next, after learning is performed by inputting the data set for which the verification is completed to a second learning model having a deep learning neural network structure, verification may be performed secondarily.

그리고 상기 2차 검사가 완료된 데이터 셋을 딥러닝 신경망 구조를 갖는 제3 학습 모델에 입력하여 학습을 수행한 후, 3차로 검수가 수행되면, 커뮤니케이션 상황을 예측할 수 있는 머신러닝 모델이 구축될 수 있다.In addition, if the data set for which the second inspection is completed is input to a third learning model having a deep learning neural network structure, learning is performed, and then a third inspection is performed, a machine learning model capable of predicting the communication situation can be built. .

다만, 본 개시는 도 4에 도시된 실시예에 한정되는 것은 아니다. 예를 들어, n차 학습 모델(여기서, n은 자연수이고 도 4에 도시된 3차보다 큰 수를 예시)에서 학습 후에 검수까지 수행 후에 커뮤니케이션 상황 예측을 위한 머신러닝 모델이 구축될 수도 있다.However, the present disclosure is not limited to the embodiment shown in FIG. 4 . For example, a machine learning model for predicting a communication situation may be built after learning from an nth-order learning model (where n is a natural number and a number greater than the 3rd order shown in FIG. 4 is exemplified).

더불어, 도 4에서는 1차는 단순 신경망 구조를 가진 제1 학습 모델을 나머지 차수는 딥러닝 신경망 구조를 가진 학습 모델을 예시하였으나, 본 개시는 이에 한정되지 않는다. 예를 들어, 모든 차수에서 딥러닝 신경망 구조를 가진 학습 모델이 이용, 차수별로 단순 신경망 구조를 가진 학습 모델과 딥러닝 신경망 구조를 가진 학습 모델이 번갈아 배치, 마지막 차수를 제외한 나머지 차수에서는 단순 신경망 구조를 가진 학습 모델이 이용되고 상기 마지막 차수에서만 딥러닝 신경망 구조를 가진 학습 모델이 이용 등이 될 수도 있다. In addition, in FIG. 4, a first learning model having a simple neural network structure in the first order and a learning model having a deep learning neural network structure in the remaining orders are illustrated, but the present disclosure is not limited thereto. For example, a learning model with a deep learning neural network structure is used in all orders, a learning model with a simple neural network structure and a learning model with a deep learning neural network structure are alternately placed for each order, and a simple neural network structure is used in the remaining orders except for the last order. A learning model with a is used, and a learning model with a deep learning neural network structure may be used only in the last order.

그 밖에, n차를 구성하는 개별 차수의 신경망 구조 및 대응 학습 모델은 설정에 따라 임의로 구성하여 본 개시에 따른 커뮤니케이션 상황 예측을 위한 머신러닝 모델을 구축할 수 있다.In addition, the neural network structure and corresponding learning model of an individual order constituting the nth order may be arbitrarily configured according to settings to build a machine learning model for predicting a communication situation according to the present disclosure.

또한, 도 4에서는 각 차수의 학습 후에 검수가 필수적으로 수행되는 것으로 설명되었으나, 본 개시는 반드시 이에 한정되는 것은 아니다. 예를 들어, 처음, 중간 및 마지막 차수에서만 검수 수행, 처음과 마지막 차수에서만 검수 수행, 마지막 차수에서만 검수 수행, 마지막 차수로부터 미리 설정된 차수만큼 이전의 차수부터 마지막 차수까지 해당 차수에서만 검수 수행, 번갈아 도달하는 차수에서만 검수 수행 등 다양한 방식으로 설정하여 검수를 수행할 수 있다.In addition, although it has been described in FIG. 4 that verification is necessarily performed after each order of learning, the present disclosure is not necessarily limited thereto. For example, check only in the first, middle, and last order, check only in the first and last order, check only in the last order, check only in the order from the previous order by the preset order to the last order from the last order, alternate arrival Inspection can be performed by setting in various ways, such as performing inspection only in the order to be performed.

한편, 본 개시의 다른 일실시예에 따르면, 이러한 학습 차수는 입력되는 데이터 셋에 따라 다르게 구성될 수 있다. 예를 들어, 입력되는 데이터 셋의 수나 양, 특성, 종류, 카테고리 등을 종합 고려하여, 학습 차수를 2차로 구성할지 아니면 3차로 구성할지 결정할 수 있다. 이 때, 만약 2차로 구성된 학습 모델과 3차로 구성된 학습 모델이 각각 기 존재하는 경우에는, 적합한 모델을 선택하여 그대로 이용하면 족하고, 그렇지 않은 경우에는 상기 적합한 모델을 구성하여 이용할 수 있다.Meanwhile, according to another embodiment of the present disclosure, such a learning order may be configured differently according to an input data set. For example, it is possible to determine whether to configure a second or third learning order by comprehensively considering the number or amount, characteristics, types, categories, etc. of input data sets. At this time, if a second-order learning model and a third-order learning model already exist, it is enough to select a suitable model and use it as it is, otherwise, the suitable model can be configured and used.

도 5는 본 발명의 일 실시예에 따라 4개의 인식 단계 각각에 해당하는 히든 레이어의 조합 순서에 따라 결과를 도출하는 일 예를 나타내는 도면이다.5 is a diagram illustrating an example of deriving a result according to a combination sequence of hidden layers corresponding to each of four recognition steps according to an embodiment of the present invention.

도 5를 참조하면, 인식 단계는 예를 들어, 제1 단계 내지 제4 단계는 각각 감각(육감)(six-sense), 감정(호/불호/무관)(emotion), 판단(이해득실)(decision) 및 추론(과거/현재/미래)(inference) 단계로 대응되어 분류될 수 있다. 다만, 본 개시는 이에 한정되는 것은 아니다.Referring to FIG. 5 , in the recognition step, for example, the first to fourth steps are sense (six-sense), emotion (like/dislike/unrelated) (emotion), judgment (gain/loss of understanding) ( decision) and inference (past/present/future) (inference) stages. However, the present disclosure is not limited thereto.

상기에서, 제1 단계(감각)는 분석적인 사고에 의하지 않고 직관적으로 사태의 진상을 파악하는 정신작용 즉, 이치나 경험으로부터의 지적 판단을 통한 결론이 아니라, 직입적 감성(직감)에 대한 것을 나타낼 수 있다. 제1 단계는 감각에 관한 컨볼루션(convolution) 연산을 수행하는 제1 히든 레이어를 구성할 수 있으며, 이 때 파라미터(parameter)는 시각, 청각, 후각, 미각, 촉각, 초감각(직감각) 등 중 적어도 하나 이상으로 구성될 수 있다.In the above, the first step (sensation) is a mental action that intuitively grasps the truth of the situation without relying on analytical thinking, that is, not a conclusion through intellectual judgment from reason or experience, but about direct emotion (intuition) can indicate In the first step, a first hidden layer that performs a convolution operation on the senses may be configured. In this case, the parameter may be one of sight, hearing, smell, taste, touch, and extrasense (intuition). It may consist of at least one or more.

상기에서, 제2 단계(감정)는 현상이나 사건을 접했을 때, 마음에서 일어나는 느낌이나 기분에 대한 것을 나타낼 수 있다. 제2 단계는 감정에 관한 컨볼루션 연산을 수행하는 제2 히든 레이어를 구성할 수 있으며, 이 때 파라미터는 호(好), 불호(不好), 무관(無關) 등 중 적어도 하나 이상으로 구성될 수 있다.In the above, the second step (emotion) may represent a feeling or mood that arises in the mind when encountering a phenomenon or event. In the second step, a second hidden layer that performs a convolution operation on emotion may be configured, and at this time, the parameter may consist of at least one of good, bad, and irrelevant. can

상기에서, 제3 단계(판단)은 대상을 인식하고 논리나 기준에 따라 판정을 내리는 인간의 사유 작용에 대한 것을 나타낼 수 있다. 이 제3 단계는 판단에 관한 컨볼루션 연산을 수행하는 제3 히든 레이어를 구성할 수 있으며, 파라미터는 이(利), 해(害), 득(得), 실(失) 등 중 적어도 하나 이상으로 구성될 수 있다.In the above, the third step (judgment) may represent a human thinking process of recognizing an object and making a decision based on logic or criteria. This third step may configure a third hidden layer that performs a convolution operation on the judgment, and the parameter is at least one of advantage, harm, gain, loss, etc. may consist of

상기에서, 제4 단계(추론)는 정보에 기반한 과거 판단을 근거로 새로운 판단을 내리는 작용에 대한 것을 나타낼 수 있다. 제4 단계는 추론에 관한 컨볼루션 연산을 수행하는 제4 히든 레이어를 구성할 수 있으며, 이 때 파라미터는 과거(past), 현재(present), 미래(future) 등 중 적어도 하나 이상으로 구성될 수 있다.In the above, the fourth step (reasoning) may indicate an action of making a new judgment based on a past judgment based on information. A fourth step may configure a fourth hidden layer that performs a convolution operation related to inference, and in this case, a parameter may consist of at least one of past, present, and future. there is.

이 때, 각 인식 단계의 히든 레이어의 조합 순서에 따라 다른 결과가 도출될 수 있으므로, 상기 조합 가능한 경우의 수에 해당하는 레이어를 병렬 비교하여 최적값을 검증할 수 있다.In this case, since different results may be derived according to the combination order of hidden layers in each recognition step, an optimal value may be verified by performing a side-by-side comparison of layers corresponding to the number of combinable cases.

도 6은 본 발명의 일 실시예에 따른 인공지능 기반 커뮤니케이션 상황 예측 방법을 나타내는 순서도이다.6 is a flowchart illustrating a method for predicting a communication situation based on artificial intelligence according to an embodiment of the present invention.

상황 예측 장치(100)는 사용자 단말(200)에서 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터를 입력하면(S310), 입력된 대화 데이터를 획득할 수 있다(S330).When conversation data is input from the user terminal 200 based on a social network service linked to a service providing platform (S310), the situation prediction apparatus 100 may acquire the input conversation data (S330).

상황 예측 장치(100)는 복수 개의 머신러닝 모델에 입력하여 인공지능을 기반으로 커뮤니케이션 상황을 예측하고(S330), 예측 결과를 기반으로 답변을 출력할 수 있다(S370).The situation prediction apparatus 100 may predict a communication situation based on artificial intelligence by inputting the input to a plurality of machine learning models (S330), and output an answer based on the predicted result (S370).

도 7 내지 9는 본 개시의 일 실시예에 따른 뉴럴 네트워크(NN: Neural Network)를 설명하기 위해 도시한 도면이다. 7 to 9 are diagrams for explaining a neural network (NN) according to an embodiment of the present disclosure.

도 7은 뉴럴 네트워크(NN) 구조의 일 예로서, 컨볼루션 뉴럴 네트워크(CNN)의 구조를 나타낸다. 다만, 본 개시가 이에 한정되는 것은 아니다.7 shows the structure of a convolutional neural network (CNN) as an example of a neural network (NN) structure. However, the present disclosure is not limited thereto.

도 7을 참조하면, 뉴럴 네트워크(NN)는 복수의 레이어들(L1 내지 Ln)(여기서, n은 자연수)을 포함하여 구성될 수 있다. 이 때, 상기 각 레이어는 선형 레이어(Linear layer) 또는 비선형 레이어(non-linear layer)일 수 있다. Referring to FIG. 7 , the neural network NN may include a plurality of layers L1 to Ln (where n is a natural number). In this case, each layer may be a linear layer or a non-linear layer.

본 개시의 다른 일 실시예에 따르면, 적어도 하나의 선형 레이어 및 적어도 하나의 비선형 레이어가 결합되어, 하나의 레이어가 구성될 수도 있다. 이 때, 선형 레이어는 예를 들어, 컨볼루션 레이어(convolution layer), 완전 연결 레이어(fully connected layer) 등 중 적어도 하나 이상을 포함하여 구성될 수 있으며, 비선형 레이어는 예를 들어, 풀링(pooling layer), 활성 레이어(activation layer) 등 중 적어도 하나 이상을 포함하여 구성될 수 있다.According to another embodiment of the present disclosure, at least one linear layer and at least one nonlinear layer may be combined to form one layer. In this case, the linear layer may include, for example, at least one of a convolution layer and a fully connected layer, and the nonlinear layer may include, for example, a pooling layer. ), an activation layer, and the like.

도 9를 참조하면, 하나의 선형 레이어와 하나의 비선형 레이어가 결합되어, 하나의 레이어가 구성된 것으로, 이 때, 상기 선형 레이어는 미리 정의된 만큼 N차 반복 수행되는 딥러닝 모듈(910)을 포함할 수 있다. 상기 각 차수의 딥러닝 모듈(910)은 적어도 하나의 특징 추출 모듈인 컨볼루션 레이어(convolution layer)(Convolution/Pooling)과 적어도 하나의 완전 연결 레이어을 포함하여 구성될 수 있다. 한편, 상기 비선형 레이어는 하나의 활성 레이어(920)를 포함하여 구성되되, 상기 활성 레이어는 예를 들어, ReLU operation 모듈, Tanh operation 모듈, Sigmoid operation 모듈, Softmax operation 모듈 등 중 적어도 하나의 모듈을 포함하여 구성될 수 있다. Referring to FIG. 9, one linear layer and one nonlinear layer are combined to form one layer. At this time, the linear layer includes a deep learning module 910 that is repeatedly performed N times as many times as a predefined number. can do. The deep learning module 910 of each order may include at least one feature extraction module, a convolution layer (Convolution/Pooling), and at least one fully connected layer. Meanwhile, the nonlinear layer is configured to include one active layer 920, and the active layer includes, for example, at least one of a ReLU operation module, a Tanh operation module, a Sigmoid operation module, and a Softmax operation module. can be configured.

도 7을 참조하면, 제1 레이어(L1)는 컨볼루션 레이어이고, 제2 레이어(L2)는 풀링 레이어이고, 제n 레이어(Ln)는 출력 레이어로서 완전 연결 레이어일 수 있다. 이 때, 뉴럴 네트워크(NN)는 활성 레이어를 더 포함할 수 있으며, 다른 종류의 연산을 수행하는 레이어를 더 포함할 수도 있다.Referring to FIG. 7 , the first layer L1 is a convolution layer, the second layer L2 is a pooling layer, and the n-th layer Ln is an output layer and may be a fully connected layer. In this case, the neural network NN may further include an active layer, and may further include layers performing other types of calculations.

도 7을 참조하면, 복수의 레이어들(L1 내지 Ln) 각각은 입력되는 데이터(예컨대, 이미지 프레임) 또는 이전 레이어에서 생성된 피처맵(FM: feature map)을 입력 피처맵으로 수신하고, 상기 입력 피처맵을 연산함으로써 가치 리턴(QR)를 생성할 수 있다. 이 때, 상기 가치 리턴(QR)은 적어도 하나의 가우시안 그래프(Gausian graph)를 포함하는 가치 분포, 또는 상기 적어도 하나의 가우시안 그래프에 대응하는 네트워크 파라미터들일 수 있다. 상기에서, 네트워크 파라미터들에는 예를 들면, 가치 평균 값, 확률 웨이트, 가치 표준편차 등 중 적어도 하나 이상이 포함될 수 있다.Referring to FIG. 7 , each of the plurality of layers L1 to Ln receives input data (eg, an image frame) or a feature map (FM) generated in a previous layer as an input feature map, and receives the input feature map as an input feature map. By computing the feature map, we can generate a value return (QR). In this case, the value return QR may be a value distribution including at least one Gaussian graph or network parameters corresponding to the at least one Gaussian graph. In the above, the network parameters may include, for example, at least one of a value average value, a probability weight value, and a value standard deviation value.

상기에서, 피처맵이라 함은 예를 들어, 입력 데이터의 다양한 특징이 표현된 데이터를 의미할 수 있다. 따라서, 도 7에 도시된 바와 같이 피처맵들(FM1, FM2, …, FMn)은 예컨대 2차원 매트릭스 또는 3차원 매트릭스(또는 텐서(tensor)) 형태를 가질 수 있다. 본 개시의 일 실시예에 따르면, 입력되는 제1 피처맵(FM1)은 현재 상태에 대응하는 데이터일 수 있다. 한편, 도 7을 참조하면, 피처맵들(FM1, FM2, …, FMn)은 너비(W)(또는 칼럼), 높이(H)(또는 로우) 및 깊이(D)를 가지며, 이는 좌표상의 x축, y축 및 z축에 각각 대응될 수 있다. 이 때, 깊이(D)는 채널 수로 지칭될 수 있다.In the above description, the feature map may refer to data expressing various characteristics of the input data, for example. Accordingly, as shown in FIG. 7 , the feature maps FM1 , FM2 , ..., FMn may have, for example, a 2D matrix or a 3D matrix (or tensor) form. According to an embodiment of the present disclosure, the input first feature map FM1 may be data corresponding to a current state. Meanwhile, referring to FIG. 7, the feature maps FM1, FM2, ..., FMn have a width W (or column), height H (or row), and depth D, which are x on the coordinates. axis, y-axis and z-axis respectively. In this case, the depth D may be referred to as the number of channels.

도 7을 참조하면, 제1 레이어(L1)는 제1 피처맵(FM1)을 웨이트 커널(WK)과 컨볼루션함으로써 제2 피처맵(FM2)을 생성할 수 있다. 이 때, 상기 웨이트 커널(WK)은 상기 제1 피처맵(FM1)을 필터링(filtering)할 수 있으며, 필터 또는 맵으로도 지칭될 수 있다. 한편, 상기 웨이트 커널(WK)의 깊이 즉, 채널 개수는 제1 피처맵(FM1)의 깊이 즉, 채널 개수와 동일할 수 있으며, 상기 웨이트 커널(WK)과 제1 피처맵(FM1)의 동일한 채널끼리 컨볼루션될 수 있다. 상기에서, 웨이트 커널(WK)이 제1 피처맵(FM1)을 슬라이딩 윈도우(sliding window)로 하여 횡단하는 방식으로 시프트(shift)될 수도 있다. 이 때, 시프트되는 양은 "스트라이드(stride) 길이" 또는 "스트라이드"로 지칭될 수 있다. Referring to FIG. 7 , the first layer L1 may generate a second feature map FM2 by convolving the first feature map FM1 with the weight kernel WK. In this case, the weight kernel WK may filter the first feature map FM1 and may also be referred to as a filter or a map. Meanwhile, the depth of the weight kernel WK, that is, the number of channels, may be the same as the depth of the first feature map FM1, that is, the number of channels. Channels may be convoluted. In the above, the weight kernel WK may be shifted in a manner traversing the first feature map FM1 as a sliding window. In this case, the shifted amount may be referred to as "stride length" or "stride".

상기에서, 각 시프트 동안, 웨이트 커널(WK)에 포함되는 웨이트 값들(weight values) 각각이 제1 피처맵(FM1)과 중첩되는 영역에서의 모든 픽셀 데이터들과 곱해지고 더해질 수 있다. 상기 웨이트 커널(WK)에 포함되는 웨이트 값들 각각이 상기 제1 피처맵(FM1)과 중첩되는 영역에서의 상기 제1 피처맵(FM1)의 데이터들을 '추출 데이터'라 칭할 수 있다. 상기 제1 피처맵(FM1)과 웨이트 커널(WK)이 컨볼루션 됨에 따라, 제2 피처맵(FM2)의 하나의 채널이 생성될 수 있다. In the above, during each shift, each of the weight values included in the weight kernel WK may be multiplied and added to all pixel data in an area overlapping the first feature map FM1. Data of the first feature map FM1 in an area where each of the weight values included in the weight kernel WK overlaps the first feature map FM1 may be referred to as 'extracted data'. As the first feature map FM1 and the weight kernel WK are convoluted, one channel of the second feature map FM2 may be generated.

도 7에서는 설명의 편의상 하나의 웨이트 커널(WK)이 예시되었으나, 본 개시는 이에 한정되지 않으며, 복수의 웨이트 맵들이 제1 피처맵(FM1)과 컨볼루션 되어, 제2 피처맵(FM2)의 복수의 채널들이 생성될 수 있다. 다시 말해, 상기 제2 피처맵(FM2)의 채널의 수는 웨이트 맵의 개수에 대응될 수 있다.Although one weight kernel (WK) is illustrated in FIG. 7 for convenience of explanation, the present disclosure is not limited thereto, and a plurality of weight maps are convoluted with the first feature map FM1 to form a second feature map FM2. A plurality of channels may be created. In other words, the number of channels of the second feature map FM2 may correspond to the number of weight maps.

다음으로, 제2 레이어(L2)는 풀링을 통해 제2 피처맵(FM2)의 공간적 크기(spatial size)를 변경함으로써, 제3 피처맵(FM3)을 생성할 수 있다. 이 때, 상기 풀링이라 함은 샘플링(sampling) 또는 다운-샘플링(down-sampling)으로 나타낼 수 있다. 2차원의 풀링 윈도우(PW: Pooling Window)가 풀링 윈도우(PW)의 사이즈 단위로 제2 피처맵(FM2) 상에서 시프트되고, 풀링 윈도우(PW)와 중첩되는 영역의 픽셀 데이터들 중 최대값이 선택될 수 있다. 다만, 본 개시는 이에 한정되지 않으며, 상기 최대값은 예를 들어, 픽세 데이터들의 평균값 등이 될 수 있다. 따라서, 제2 피처맵(FM2)으로부터 공간적 사이즈가 변경된 제3 피처맵(FM3)이 생성될 수 있다. 제3 피처맵(FM3)의 채널과 제2 피처맵(FM2)의 채널 개수는 동일할 수 있다. 본 개시의 일 실시예에 따르면, 제3 피처맵(FM3)은 도 7에 도시된 바와 같이, 전술한 컨볼루션이 완료된 출력 피처맵에 대응될 수 잇다. Next, the second layer L2 may generate a third feature map FM3 by changing the spatial size of the second feature map FM2 through pooling. In this case, the pooling may be referred to as sampling or down-sampling. A 2-dimensional pooling window (PW) is shifted on the second feature map (FM2) in units of the size of the pooling window (PW), and the maximum value of pixel data in the area overlapping with the pooling window (PW) is selected. It can be. However, the present disclosure is not limited thereto, and the maximum value may be, for example, an average value of pixel data. Accordingly, a third feature map FM3 whose spatial size is changed may be generated from the second feature map FM2. The number of channels of the third feature map FM3 and the number of channels of the second feature map FM2 may be the same. According to an embodiment of the present disclosure, as shown in FIG. 7 , the third feature map FM3 may correspond to the output feature map on which the above-described convolution is completed.

마지막으로, 제n 레이어(Ln)는 제n 피처맵(FMn)의 피처들을 조합함으로써 입력 데이터의 클래스(CL: class)를 분류할 수 있다. 또한, 상기 제n 레이어(Ln)는 클래스에 대응되는 가치 리턴(QR)를 생성할 수 있다. 본 개시의 일 실시예에 따르면, 입력 데이터는 현재 상태에 대응하는 데이터에 대응될 수 있으며, 제n 레이어(Ln)에서는 이전 레이어로부터 제공되는 제n 피처맵(FMn)을 복수의 행동들에 대응하는 클래스들을 추출함으로써 최적의 행동을 판별하기 위한 가치 리턴(QR)이 생성될 수 있다. 제n 레이어(Ln)는 상술한 완전 연결 모듈에 의해 수행될 수 있다. Finally, the n-th layer Ln may classify a class (CL) of the input data by combining features of the n-th feature map FMn. In addition, the nth layer (Ln) may generate a value return (QR) corresponding to the class. According to an embodiment of the present disclosure, input data may correspond to data corresponding to a current state, and in an n-th layer Ln, an n-th feature map FMn provided from a previous layer corresponds to a plurality of actions. By extracting the classes that do, a value return (QR) can be generated to determine the optimal action. The n-th layer (Ln) may be performed by the fully connected module described above.

본 개시의 일 실시예에 따르면, 가치 리턴(QR)은 복수의 행동들 각각에 대응하는 가치의 확률 분포로 표현될 수 있다. 예를 들어, 상술한 바와 같이, 현재 상태-행동(Current State-Action) 페어(pair)별 가능한 가치 리턴에 대한 확률 분포를 산출하는 뉴럴 네트워크(NN)를 가치 분포 네트워크로 정의할 수 있으며, 상기 가치 분포 네트워크는 가치 리턴(QR)에 대한 확률 분포를 정의하는 네트워크 파라미터를 딥러닝 결과로서 출력할 수 있다. According to an embodiment of the present disclosure, the value return (QR) may be expressed as a probability distribution of values corresponding to each of a plurality of actions. For example, as described above, a neural network (NN) that calculates a probability distribution of possible value returns for each current state-action pair may be defined as a value distribution network, The value distribution network may output network parameters defining a probability distribution for a value return (QR) as a deep learning result.

도 8을 참조하면, 입력 피처맵들(801)은 D개의 채널들을 포함하고, 각 채널의 입력 피처맵은 H행 및 W열의 크기를 가질 수 있다(여기서, 상기 D, H, W는 자연수). Referring to FIG. 8 , input feature maps 801 include D channels, and each input feature map of each channel may have a size of H rows and W columns (where D, H, and W are natural numbers). .

커널들(802) 각각은 R행 및 S열의 크기를 갖고, 입력 피처맵들(801)의 채널 수(또는 깊이(D))에 대응되는 개수의 채널들을 포함할 수 있다(여기서, 상기 R, S는 자연수). Each of the kernels 802 may have a size of R row and S column, and may include a number of channels corresponding to the number of channels (or depth D) of the input feature maps 801 (where R, S is a natural number).

출력 피처맵들(803)은 입력 피처맵들(801)과 커널들(802) 간의 3차원 컨볼루션 연산을 통해 생성될 수 있으며, 상기 컨볼루션 연산에 따라 Y개의 채널들이 포함될 수 있다.The output feature maps 803 may be generated through a 3D convolution operation between the input feature maps 801 and the kernels 802, and Y channels may be included according to the convolution operation.

하나의 입력 피처맵과 하나의 커널 간의 컨볼루션 연산을 통해 출력 피처맵이 생성되는 과정은 예를 들어, 도 8에 도시된 바와 같이, 2차원 컨볼루션 연산이 전체 채널들의 입력 피처맵들(801)과 전체 채널들의 커널들(802) 사이에 수행됨으로써, 전체 채널들의 출력 피처맵들(803)이 생성될 수 있다.The process of generating an output feature map through a convolution operation between one input feature map and one kernel is, for example, as shown in FIG. ) and the kernels 802 of all channels, output feature maps 803 of all channels can be generated.

도 8에서는, 설명의 편의상, 입력 피처맵(801)은 6 x 6 크기(size)를 가지고, 원본 커널(802)은 3 x 3 크기를 가지고, 출력 피처맵(803)은 4 x 4 크기인 것으로 가정하나, 본 개시는 이에 제한되지 않는다. 따라서, 뉴럴 네트워크는 다양한 크기의 피처맵들 및 커널들로 구현될 수 있다. In FIG. 8 , for convenience of explanation, the input feature map 801 has a size of 6 x 6, the original kernel 802 has a size of 3 x 3, and the output feature map 803 has a size of 4 x 4. However, the present disclosure is not limited thereto. Thus, a neural network can be implemented with feature maps and kernels of various sizes.

이와 같이, 도 8에 도시된 입력 피처맵(801), 원본 커널(802) 및 출력 피처맵(803)에 정의된 값들은, 모두 예시적인 값들일 뿐이고, 본 개시는 이에 의해 제한되지 않는다.As such, the values defined in the input feature map 801, the original kernel 802, and the output feature map 803 shown in FIG. 8 are all exemplary values, and the present disclosure is not limited thereto.

원본 커널(802)은 입력 피처맵(801)에서 3x3 크기의 윈도우 단위로 슬라이딩하면서 컨볼루션 연산을 수행할 수 있다. 상기 컨볼루션 연산은 입력 피처맵(801)의 어느 윈도우의 각 피처 데이터 및 원본 커널(802)에서 대응되는 위치의 각 웨이트 값들 간의 곱셈을 함으로써 획득된 값들을 모두 합산함에 따라, 출력 피처맵(803)의 각 피처 데이터를 구하는 연산을 나타낼 수 있다. The original kernel 802 may perform a convolution operation while sliding in a 3x3 window unit in the input feature map 801 . The convolution operation sums all the values obtained by multiplying each feature data of a certain window of the input feature map 801 and each weight value of the corresponding position in the original kernel 802, so that the output feature map 803 ) may represent an operation for obtaining each feature data of ).

다시 말해, 본 개시의 일 실시예에 따르면, 하나의 입력 피처맵(801)과 하나의 원본 커널(802) 사이의 컨볼루션 연산은, 입력 피처맵(801)의 추출 데이터 및 원본 커널(802)의 대응되는 웨이트 값들의 곱셈 및 곱셈 결과들의 합산을 반복적으로 수행함으로써 처리될 수 있고, 상기 컨볼루션 연산의 결과로서 출력 피처맵(803)이 생성될 수 있다.In other words, according to an embodiment of the present disclosure, a convolution operation between one input feature map 801 and one original kernel 802 is performed by extracting data of the input feature map 801 and the original kernel 802. It can be processed by iteratively performing multiplication of corresponding weight values of and summation of multiplication results, and an output feature map 803 can be generated as a result of the convolution operation.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The aforementioned program is C, C++, JAVA, machine language, etc. It may include a code coded in a computer language of. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer. In addition, the medium may be distributed to computer systems connected through a network, and computer readable codes may be stored in a distributed manner.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present disclosure may be implemented directly in hardware, implemented in a software module executed by hardware, or a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which this disclosure pertains.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, the embodiments of the present disclosure have been described with reference to the accompanying drawings, but those skilled in the art to which the present disclosure pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present disclosure. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10 : 커뮤니케이션 서비스 제공 시스템 100: 서비스 제공 장치
200: 사용자 단말 110: 통신모듈
130: 저장모듈 150: 제어모듈10: communication service providing system 100: service providing device
200: user terminal 110: communication module
130: storage module 150: control module