KR20230092675A - System and method for providing communication service through language pattern analysis based on artificial intelligence - Google Patents

Disclosed are an apparatus and method for providing a communication service based on artificial intelligence, which may improve user convenience. The apparatus for providing a communication service through a service provision platform based on artificial intelligence may comprise: a user terminal which is linked to a social network service of a user through the service provision platform and inputs conversation data based on the linked social network service to perform communication; and a service provision apparatus which obtains the conversation data input by the user terminal based on the social network service, inputs the obtained conversation data into a pre-trained machine learning model to analyze a language pattern, and outputs a recommended answer based on a result of the analysis. The language pattern is made by analyzing a frequency of pre-classified conversation types. The pre-classified conversation types include a positive, neutral, or negative-related language, a gain or loss-related language, a time-related language, and a sense-related language.

인공지능 기반의 언어 패턴 분석을 통한 커뮤니케이션 서비스 제공 장치 및 방법{SYSTEM AND METHOD FOR PROVIDING COMMUNICATION SERVICE THROUGH LANGUAGE PATTERN ANALYSIS BASED ON ARTIFICIAL INTELLIGENCE}Apparatus and method for providing communication services through artificial intelligence-based language pattern analysis

본 개시는 커뮤니케이션 서비스에 대한 것으로, 보다 구체적으로 인공지능을 기반으로 분석된 언어 패턴에 기초하여 커뮤니케이션 서비스를 제공하는 인공지능 기반 커뮤니케이션 서비스 제공 장치 및 방법에 관한 것이다.The present disclosure relates to a communication service, and more particularly, to an artificial intelligence-based communication service providing apparatus and method for providing a communication service based on a language pattern analyzed based on artificial intelligence.

최근 스마트폰의 보급이 늘어남에 따라, 언제 어디서나 인터넷에 접속할 수 있는 환경이 제공되고 있다.Recently, as the spread of smart phones increases, an environment in which users can access the Internet anytime, anywhere is provided.

이에 따라, 스마트폰의 사용자들은 단순히 통화나 문자를 주고받는 이전의 휴대전화의 기능에서 벗어나, 자신의 필요에 따라 다양한 어플리케이션을 설치하여 컴퓨터가 없어도 인터넷 접속은 물론 그 밖에 여러 가지 작업을 수행할 수 있게 되었다.Accordingly, smartphone users can move away from the functions of previous cell phones that simply send and receive calls or text messages, and install various applications according to their needs to access the Internet and perform various other tasks without a computer. there has been

대부분의 스마트폰 사용자는 다른 사용자와 메시지, 사진, 영상, 문서 등을 주고받을 수 있는 이른바 SNS(Social Network Service)를 사용하고 있다. Most smartphone users use a so-called social network service (SNS) through which messages, photos, videos, documents, etc. can be exchanged with other users.

나아가, 최근에는 인공지능 챗봇을 통해 실제 대화 상대가 없이도 고민 상담, 일상 대화 등의 커뮤니케이션 서비스나, 연예인과 대화를 하는 듯한 커뮤니케이션 서비스를 제공하는 SNS에 대한 개발 또한 활발하게 진행되고 있다.Furthermore, in recent years, development of SNS that provides communication services such as counseling on worries and daily conversations without an actual conversation partner through artificial intelligence chatbots, or communication services as if having a conversation with a celebrity is also actively underway.

이러한 커뮤니케이션 서비스는 서로 간의 커뮤니케이션이 매끄럽게 이어지지 않거나 대화 상대, 상태 또는 상황에 걸맞지 않는 답변이 계속되면 사용자들의 흥미를 유발할 수 없는 문제점이 있다.Such a communication service has a problem in that it cannot arouse users' interest if communication between them is not smoothly continued or if an answer inappropriate to the conversation partner, status or situation continues.

따라서, 단순 흥미 위주의 커뮤니케이션뿐만 아니라 스피치 훈련, 상담/협상 보조, 마케팅 등에 활용될 수 있는 커뮤니케이션 서비스를 제공할 수 있도록 하는 기술이 개발될 필요가 있다.Therefore, it is necessary to develop a technology capable of providing communication services that can be used for speech training, counseling/negotiation assistance, marketing, and the like, as well as simple interest-oriented communication.

한국공개특허공보 제10-2012-0137568호 (공개일: 2012.12.24)Korean Patent Publication No. 10-2012-0137568 (Publication date: 2012.12.24)

상술한 바와 같은 문제점을 해결하기 위한 본 개시는 인공지능을 기반으로 분석된 언어 패턴에 기초하여 다양한 분양에 다양한 상황에 적합한 추천 답변(또는 예상 내지 예측 답변)을 제공하는 인공지능 기반 커뮤니케이션 서비스 제공 장치 및 방법을 제공하는 것이다.The present disclosure for solving the above problems is an artificial intelligence-based communication service providing device that provides recommended answers (or expected or predicted answers) suitable for various situations in various lots based on language patterns analyzed based on artificial intelligence. and to provide a method.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 개시의 일면에 따른 인공지능을 기반으로 서비스 제공 플랫폼을 통해 커뮤니케이션 서비스를 제공하는 장치는, 상기 서비스 제공 플랫폼을 통해 사용자의 소셜 네트워크 서비스를 연동되고, 상기 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터를 입력하여 커뮤니케이션을 수행하는 사용자 단말; 및 상기 사용자 단말이 상기 소셜 네트워크 서비스를 기반으로 입력한 대화 데이터를 획득하고, 상기 획득된 대화 데이터를 기 학습된 머신러닝 모델에 입력하여 언어 패턴을 분석하고, 상기 분석 결과를 기반으로 추천 답변을 출력하는 서비스 제공 장치를 포함할 수 있다. 상기에서, 상기 언어 패턴은, 기 분류된 대화 종류에 대한 빈도를 분석한 것이고, 상기 기 분류된 대화 종류에는, 긍정/중립/부정 관련 언어, 이해득실 관련 언어, 시간 관련 언어 및 감각 관련 언어가 포함되는 것을 특징으로 한다.An apparatus for providing a communication service through a service providing platform based on artificial intelligence according to an aspect of the present disclosure for solving the above problems is linked to a user's social network service through the service providing platform, and the linked social a user terminal that performs communication by inputting conversation data based on a network service; and obtaining conversation data input by the user terminal based on the social network service, inputting the acquired conversation data to a pre-learned machine learning model to analyze language patterns, and based on the analysis result, recommending answers. It may include a service providing device that outputs. In the above, the language pattern is an analysis of the frequency of pre-classified conversation types, and the pre-classified conversation types include positive/neutral/negative related language, understanding gain/loss related language, time related language, and sensory related language. characterized by inclusion.

본 개시의 다른 일면에 따른 인공지능을 기반으로 서비스 제공 플랫폼을 통해 커뮤니케이션 서비스를 제공하는 장치는, 저장 모듈; 및 상기 저장 모듈과 통신하는 제어 모듈을 포함하되, 상기 제어 모듈은, 사용자 단말이 상기 서비스 제공 플랫폼을 통해 연동된 사용자의 소셜 네트워크 서비스를 기반으로 입력한 대화 데이터를 획득하고, 상기 획득된 대화 데이터를 기 학습된 머신러닝 모델에 입력하여 언어 패턴을 분석하고, 상기 분석 결과를 기반으로 추천 답변을 출력하도록 제어하되, 상기 언어 패턴은, 기 분류된 대화 종류에 대한 빈도를 분석한 것이고, 상기 기 분류된 대화 종류에는, 긍정/중립/부정 관련 언어, 이해득실 관련 언어, 시간 관련 언어 및 감각 관련 언어가 포함되는 것을 특징으로 한다.An apparatus for providing a communication service through a service providing platform based on artificial intelligence according to another aspect of the present disclosure includes a storage module; and a control module communicating with the storage module, wherein the control module obtains conversation data input based on a user's social network service linked by a user terminal through the service providing platform, and obtains the acquired conversation data. is input into a pre-learned machine learning model to analyze language patterns and output a recommended answer based on the analysis result, wherein the language pattern is an analysis of the frequency of a pre-classified conversation type, and the The classified conversation types include positive/neutral/negative related language, gain/loss related language, time related language, and sensory related language.

본 개시의 일면에 따른 인공지능을 기반으로 서비스 제공 플랫폼을 통해 커뮤니케이션 서비스를 제공하는 방법은, 상기 서비스 제공 플랫폼을 통해 연동된 사용자의 소셜 네트워크 서비스를 기반으로 대화 데이터를 획득하는 단계; 상기 획득된 대화 데이터를 기 학습된 머신러닝 모델에 입력하여 언어 패턴을 분석하는 단계; 및 상기 분석 결과를 기반으로 추천 답변 데이터 출력을 제어하는 단계를 포함하되, 상기 언어 패턴은, 기 분류된 대화 종류에 대한 빈도를 분석한 것이고, 상기 기 분류된 대화 종류에는, 긍정/중립/부정 관련 언어, 이해득실 관련 언어, 시간 관련 언어 및 감각 관련 언어가 포함되는 것을 특징으로 한다.A method for providing a communication service through a service providing platform based on artificial intelligence according to an aspect of the present disclosure includes obtaining conversation data based on a user's social network service linked through the service providing platform; analyzing language patterns by inputting the obtained conversation data into a pre-learned machine learning model; and controlling the output of recommended answer data based on the result of the analysis, wherein the language pattern is an analysis of frequencies for pre-classified conversation types, and positive/neutral/negative for the pre-classified conversation types. It is characterized in that it includes related language, gain-and-loss related language, time-related language, and sensory-related language.

이 외에도, 본 개시를 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present disclosure, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.

상술한 본 개시에 따르면, 인공지능을 기반으로 분석된 언어 패턴에 기초하여 단순 흥미 위주의 커뮤니케이션뿐만 아니라 스피치 훈련, 상담/협상 보조, 마케팅 등 다양한 분야의 다양한 상황에 맞는 추천 답변(또는 예상 내지 예측 답변)이 포함된 커뮤니케이션 서비스를 제공할 수 있다.According to the present disclosure described above, based on language patterns analyzed based on artificial intelligence, not only simple interest-oriented communication, but also recommended answers (or predictions or predictions) suitable for various situations in various fields such as speech training, counseling/negotiation assistance, marketing, etc. can provide communication services including answers).

본 개시에 따르면, 상기 커뮤니케이션 서비스를 이용 사용자의 편의성을 향상시켜 서비스 만족도를 개선시킬 수 있다.According to the present disclosure, it is possible to improve service satisfaction by improving user convenience using the communication service.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 개시의 일 실시예에 따른 인공지능 기반 커뮤니케이션 서비스 제공 시스템의 네트워크 구조를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 커뮤니케이션 서비스 제공 장치의 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따라 커뮤니케이션 서비스 제공 장치에서 대화 데이터를 기반으로 언어 패턴을 수행함으로써 학습된 데이터를 생성하는 일 예를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델의 성능을 향상시키기 위한 절차의 일 예를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델을 구축하는 방법을 나타내는 순서도이다.
도 6은 본 개시의 일 실시예에 따라 커뮤니케이션 서비스 제공 장치에서 대화 데이터를 기반으로 언어 패턴을 수행함으로써 학습된 데이터를 생성하는 일 예를 나타내는 도면이다.
도 7 내지 9는 본 개시의 일 실시예에 따른 커뮤니케이션 서비스 동작을 설명하기 위한 예시를 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델을 구축하여 적용하는 절차의 일 예를 나타내는 도면이다.1 is a diagram showing a network structure of an artificial intelligence-based communication service providing system according to an embodiment of the present disclosure.
2 is a block diagram showing the configuration of a communication service providing device according to an embodiment of the present disclosure.
3 is a diagram illustrating an example of generating learned data by performing a language pattern based on conversation data in a communication service providing device according to an embodiment of the present disclosure.
4 is a diagram illustrating an example of a procedure for improving the performance of a pre-learned machine learning model according to an embodiment of the present disclosure.
5 is a flowchart illustrating a method of building a pre-learned machine learning model according to an embodiment of the present disclosure.
6 is a diagram illustrating an example of generating learned data by performing a language pattern based on conversation data in a communication service providing device according to an embodiment of the present disclosure.
7 to 9 are diagrams illustrating examples for explaining a communication service operation according to an embodiment of the present disclosure.
10 is a diagram illustrating an example of a procedure for constructing and applying a pre-learned machine learning model according to an embodiment of the present disclosure.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present disclosure, and methods of achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms, but only the present embodiments make the disclosure of the present disclosure complete, and are common in the art to which the present disclosure belongs. It is provided to fully inform the person skilled in the art of the scope of the present disclosure, which is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present disclosure. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present disclosure.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which this disclosure belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 인공지능 기반 커뮤니케이션 서비스 제공 시스템의 네트워크 구조를 나타내는 도면이다.1 is a diagram showing a network structure of an artificial intelligence-based communication service providing system according to an embodiment of the present disclosure.

도 1을 참조하면, 본 개시의 일 실시예에 따른 인공지능 기반 커뮤니케이션 서비스 제공 시스템(이하, '서비스 제공 시스템'이라 칭함)은 서비스 제공 장치(100) 및 사용자 단말(200)을 포함하여 구성될 수 있다. 본 개시의 다른 실시예에 따른 서비스 제공 시스템은 도 1에 도시된 구성 이외에 하나 또는 그 이상의 구성요소를 더 포함하여 구성될 수도 있다. 한편, 도 1에서 사용자 단말(200)은 설명의 편의상 1개만 도시하였으나, 이에 한정되는 것은 아니며, 복수 개일 수도 있다.Referring to FIG. 1 , an artificial intelligence-based communication service providing system (hereinafter referred to as 'service providing system') according to an embodiment of the present disclosure may include a service providing device 100 and a user terminal 200. can A service providing system according to another embodiment of the present disclosure may further include one or more components in addition to the configuration shown in FIG. 1 . Meanwhile, although only one user terminal 200 is shown in FIG. 1 for convenience of explanation, it is not limited thereto and may be plural.

서비스 제공 장치(100)는 서비스 제공 플랫폼을 기반으로 커뮤니케이션 서비스를 제공하는 제공자(Service Provider)의 장치로서, 일 예로 서비스 서버일 수 있다.The service providing device 100 is a device of a service provider that provides a communication service based on a service providing platform, and may be, for example, a service server.

구체적으로, 서비스 제공 장치(100)는 사용자 단말(200)이 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스(SNS: Social Network Service)를 기반으로 대화 데이터를 입력하면, 그 입력된 대화 데이터를 획득할 수 있다. 이후, 서비스 제공 장치(100)는 획득한 대화 데이터를 기 학습된 머신러닝(Machine Learning) 모델에 입력하여 언어 패턴을 분석하고, 분석 결과를 기반으로 추천 답변 또는 예상 내지 예측 답변(이하, '추천 답변'라 함)이 출력되도록 제어할 수 있다. 따라서 상기 추천 답변은 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스 상에 표시되어 사용자에게 제공될 수 있다.Specifically, when the user terminal 200 inputs conversation data based on a social network service (SNS) linked to a service providing platform, the service providing device 100 may acquire the input conversation data. there is. Thereafter, the service providing device 100 analyzes language patterns by inputting the acquired conversation data into a pre-learned machine learning model, and based on the analysis result, a recommended answer or an expected or predicted answer (hereinafter referred to as 'recommendation') 'answer') can be controlled to be output. Accordingly, the recommended answer may be displayed on a social network service linked to the service providing platform and provided to the user.

상기에서, 기 학습된 머신러닝 모델은 서비스 제공 장치(100)에 기 설정된 기간 동안 누적 저장된 대화 데이터를 기반으로 언어 패턴을 분석하고, 그 분석된 언어 패턴에 대한 유효성 피드백 데이터를 수집 및 반영하여 구축된 학습 데이터를 이용하여 학습을 수행한 것일 수 있다. 이때, 머신러닝 알고리즘으로서 NLP(Natural Language Processing), CNN(Convolution Neural Network) 등 중 적어도 하나가 적용될 수 있다.In the above, the pre-learned machine learning model is built by analyzing language patterns based on conversation data accumulated and stored for a preset period in the service providing device 100, and collecting and reflecting validity feedback data for the analyzed language patterns. Learning may be performed using the obtained learning data. At this time, as a machine learning algorithm, at least one of NLP (Natural Language Processing), CNN (Convolution Neural Network), and the like may be applied.

한편, 서비스 제공 장치(100)는 언어 패턴을 기 분류된 대화 종류에 대한 빈도를 분석한 것으로서, 이 때 상기 분류되는 대화 종류에는 긍정/중립/부정 관련 언어, 이해득실(득/실) 관련 언어, 시간(과거/현재/미래) 관련 언어, 감각(시각/청각/촉각/생각) 관련 언어 등이 포함될 수 있다. 한편, 상기 분류되는 대화 종류 각각은 추가로 더 세분화되어 새로운 분류 대상인 대화 종류나 해당 분류 대화 종류의 하위 대화로 정의되어 이용될 수도 있다. 다만, 본 개시가 상기 열거한 대화 종류 내지 하위 대화에 한정되는 것은 아니다.On the other hand, the service providing device 100 analyzes the frequency of language patterns for pre-classified conversation types, and at this time, the classified conversation types include language related to positive/neutral/negative and language related to gain/loss (gain/loss) of understanding. , language related to time (past/present/future), and language related to senses (visual/auditory/tactile/thought). Meanwhile, each of the classified conversation types may be further subdivided and defined as a conversation type that is a new classification target or a sub conversation of the corresponding classified conversation type and used. However, the present disclosure is not limited to the conversation types or sub-chats listed above.

일 예로서, 서비스 제공 장치(100)는, 코퍼스 토큰화 기반 어노테이션, 미완결 텍스트 분석, 기 설정된 주기 간 컨텍스트 분석 및 이미지 데이터 분석 중 적어도 하나를 수행하여 언어 패턴을 분석할 수 있다. 이 때, 도 6을 참조하면, 상기 코퍼스 토큰화 기반 어노테이션, 미완결 텍스트 분석 및 기 설정된 주기 간 컨텍스트 분석을 위해서는 머신러닝 알고리즘으로서 NLP가 이용될 수 있고, 이미지 데이터 분석을 위해서는 머신러닝 알고리즘으로서 CNN이 이용될 수 있다. As an example, the service providing apparatus 100 may analyze language patterns by performing at least one of corpus tokenization-based annotation, incomplete text analysis, context analysis between predetermined periods, and image data analysis. At this time, referring to FIG. 6, NLP may be used as a machine learning algorithm for the corpus tokenization-based annotation, incomplete text analysis, and context analysis between preset periods, and CNN may be used as a machine learning algorithm for image data analysis. can be used

사용자 단말(200)은 커뮤니케이션 서비스를 제공받고자 하는 사용자의 단말장치로서, 서비스 제공 플랫폼을 통해 사용자 자신이 원하는 소셜 네트워크 서비스와 연동되고, 연동된 소셜 네트워크 서비스 상에서 대화 데이터를 입력하여 커뮤니케이션을 수행할 수 있다.The user terminal 200 is a terminal device of a user who wants to receive a communication service, and is linked to a social network service desired by the user through a service providing platform, and can perform communication by inputting conversation data on the linked social network service. there is.

사용자는 커뮤니케이션 서비스를 제공받기 위해 사용자 단말(200)에 별도의 어플리케이션 또는 프로그램을 설치할 수도 있고, 사용자 단말(200)을 통해 웹 페이지에 접속하여 커뮤니케이션 서비스를 제공받을 수도 있다.The user may install a separate application or program in the user terminal 200 to receive the communication service, or access a web page through the user terminal 200 to receive the communication service.

한편, 사용자 단말(200)은 사용자가 원하는 다수의 응용 프로그램을 설치하여 실행할 수 있는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera), 기타 이동통신 단말 등일 수 있으며, 앞서 언급한 단말로 한정하지 않는다.On the other hand, the user terminal 200 is a computer capable of installing and running a plurality of applications desired by the user, a UMPC (Ultra Mobile PC), a workstation, a net-book, a PDA (Personal Digital Assistants), a portable ) computer, web tablet, wireless phone, mobile phone, smart phone, pad, smart watch, wearable terminal, It may be an e-book, a portable multimedia player (PMP), a portable game machine, a navigation device, a black box or digital camera, and other mobile communication terminals. It is not limited to terminals.

또한, 상기에서, 서비스 제공 플랫폼에 연동되는 소셜 네트워크 서비스(SNS)는 반드시 1개일 필요는 없으며, 그 개수에 제한은 없을 수 있다. 그 밖에, 대화 데이터가 수집 또는 획득되는 소스(source)는 반드시 소셜 네트워크 서비스(SNS)에 한정되지 않고, 대화 데이터를 수집 또는 획득 가능한 소스이면 족하다. 그 밖에, 해당 대화 데이터의 목적이나 용도 등에 제한은 없을 수 있다. In addition, in the above, the social network service (SNS) linked to the service providing platform does not necessarily need to be one, and the number may not be limited. In addition, a source from which conversation data is collected or acquired is not necessarily limited to a social network service (SNS), and any source capable of collecting or obtaining conversation data is sufficient. In addition, there may be no limitation on the purpose or usage of the corresponding conversation data.

본 발명에 따른 인공지능 기반 커뮤니케이션 서비스 제공을 위하여 학습 모델을 구축하거나 학습하기 위하여 대화 데이터 형식 외의 텍스트, 음성, 이미지, 동영상 등의 형태의 데이터나 신문, 뉴스 등 다양한 매체의 데이터가 참조될 수 있다. 상기에서, 필요한 경우, 이미지 처리 알고리즘이나 STT(Speech to Text)나 TTS(Text to Speech) 등 데이터 추출 및 처리와 관련된 다양한 기술이 참조될 수 있다.In order to build or learn a learning model for the provision of an artificial intelligence-based communication service according to the present invention, data in the form of text, voice, image, video, etc. other than conversation data format, or data from various media such as newspapers and news can be referenced. . In the above, if necessary, various technologies related to data extraction and processing, such as image processing algorithms, speech to text (STT) or text to speech (TTS), may be referred to.

한편, 서비스 제공 플랫폼은 전술한 복수의 사용자가 이용할 수 있는 플랫폼으로서, 서비스 단말(200) 또한 복수 개일 수 있으며, 그 개수를 한정하지 않는다.Meanwhile, the service providing platform is a platform that can be used by a plurality of users, and the number of service terminals 200 may also be plural, and the number is not limited.

도 2는 본 개시의 일 실시예에 따른 커뮤니케이션 서비스 제공 장치의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a communication service providing device according to an embodiment of the present disclosure.

도 2를 참조하면, 서비스 제공 장치(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(150)을 포함하여 구성될 수 있다.Referring to FIG. 2 , the service providing device 100 may include a communication module 110 , a storage module 130 and a control module 150 .

통신모듈(110)은 사용자 단말(200)과 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다. The communication module 110 is for performing communication with the user terminal 200 and transmits and receives a radio signal in a communication network according to wireless Internet technologies.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 서비스 제공 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc. ) transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above.

근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 통해 서비스 제공 장치(100) 및 사용자 단말(200) 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.As for short range communication, Bluetooth™ RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology may be used to support short-distance communication. 100) and the user terminal 200. In this case, the local area wireless communication network may be a local area wireless personal area network (Wireless Personal Area Networks).

저장모듈(130)은 서비스 제공 장치(100)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장한다. 서비스 제공 장치(100)에서 구동되는 다수의 응용 프로그램, 서비스 제공 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 제어모듈(150)에 저장되고, 서비스 제공 장치(100) 상에 설치되어, 제어모듈(150)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.The storage module 130 stores data and/or various information supporting various functions of the service providing apparatus 100 . A plurality of application programs run in the service providing device 100, data for operation of the service providing device 100, and commands may be stored. At least some of these application programs may be downloaded from an external server through wireless communication. Meanwhile, the application program may be stored in the control module 150, installed on the service providing device 100, and driven to perform an operation (or function) by the control module 150.

구체적으로, 저장모듈(130)에는 적어도 하나의 사용자 정보, 각 사용자의 사용자 단말(200)로부터 또는 그를 통해 획득된 대화 데이터, 학습 데이터, 머신러닝 모델 등을 저장할 수 있다. 한편, 저장모듈(130)에 저장되는 각 정보들은 각각의 시간정보와 함께 저장될 수도 있다.Specifically, the storage module 130 may store at least one user information, conversation data obtained from or through the user terminal 200 of each user, learning data, and a machine learning model. Meanwhile, each information stored in the storage module 130 may be stored together with each time information.

이를 위해, 저장모듈(130)은 메모리를 포함할 수 있으며, 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.To this end, the storage module 130 may include a memory, and the memory may be of a flash memory type, a hard disk type, a multimedia card micro type, or a card type. Memory (eg SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), It may include at least one type of storage medium among a programmable read-only memory (PROM) magnetic memory, a magnetic disk, and an optical disk. In addition, the memory may store information temporarily, permanently or semi-permanently, and may be provided in a built-in or removable type.

제어모듈(150)은 서비스 제공 장치(100) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 저장모듈(130)에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행하며, 서비스 제공 플랫폼을 이용하는 각 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.The control module 150 controls all components in the service providing device 100 to process input or output signals, data, information, etc., or executes commands, algorithms, and application programs stored in the storage module 130 to process various processes. and can provide or process appropriate information or functions to each user using the service providing platform.

구체적으로, 제어모듈(150)은 사용자 단말(200)이 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스를 기반으로 대화 데이터를 입력하면, 그 입력된 대화 데이터를 획득하고, 그 획득된 대화 데이터를 기 학습된 머신러닝 모델에 입력하여 언어 패턴을 분석함으로써, 그 분석 결과를 기반으로 답변을 출력한다. 전술한 바와 같이, 상기 소셜 네트워크 서비스는 반드시 서비스 제공 장치(100)에서 제공하는 서비스 제공 플랫폼에 연동될 필요는 없으며, 그 경우 상기 대화 데이터는 해당 소셜 네트워크 서비스의 제공자를 통해 또는 상기 소셜 네트워크 서비스 제공자 및 사용자 단말(200)을 통해 입력받거나 획득될 수 있다.Specifically, when the user terminal 200 inputs conversation data based on a social network service linked to a service providing platform, the control module 150 acquires the input conversation data and pre-learns the acquired conversation data. By analyzing the language pattern by inputting it to the machine learning model, an answer is output based on the analysis result. As described above, the social network service does not necessarily need to be interlocked with the service providing platform provided by the service providing device 100, in which case the conversation data is transmitted through the corresponding social network service provider or the social network service provider. And it can be input or acquired through the user terminal 200 .

한편, 제어모듈(150)은 언어 패턴을 분석할 시, 기 설정된 머신러닝 알고리즘을 이용하여 코퍼스 토큰화 어노테이션, 미완결 텍스트 분석, 기 설정된 주기 간 컨텍스트 분석 및 이미지 데이터 분석 중 적어도 하나를 수행하거나 수행하도록 제어할 수 있다.Meanwhile, when the language pattern is analyzed, the control module 150 performs or is configured to perform at least one of corpus tokenization annotation, incomplete text analysis, context analysis between preset periods, and image data analysis using a preset machine learning algorithm. You can control it.

도 3은 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델을 구축하는 방법을 나타내는 순서도이다.3 is a flowchart illustrating a method of building a pre-learned machine learning model according to an embodiment of the present disclosure.

동작 11에서, 서비스 제공 장치(100)는 사용자 단말(200)로부터 서비스 제공 플랫폼에 연동된 소셜 네트워크 서비스(SNS)를 기반으로 대화 데이터를 입력받을 수 있다.In operation 11, the service providing device 100 may receive conversation data from the user terminal 200 based on a social network service (SNS) linked to the service providing platform.

동작 12에서, 서비스 제공 장치(100)는 입력되는 대화 데이터를 획득하여 머신러닝 모델에 입력하여 인공지능 기반으로 언어 패턴을 분석할 수 있다.In operation 12, the service providing device 100 may analyze language patterns based on artificial intelligence by obtaining input conversation data and inputting the inputted conversation data to a machine learning model.

동작 13에서, 서비스 제공 장치(100)는 다음으로, 상기 분석 결과를 기반으로 유효성에 대한 피드백 데이터를 수집 및 반영하여 데이터 셋을 생성할 수 있다.In operation 13, the service providing apparatus 100 may generate a data set by collecting and reflecting feedback data on validity based on the analysis result.

동작 14에서, 서비스 제공 장치(100)는 생성된 데이터 셋을 이용하여 머신러닝 모델에 대한 학습을 수행함으로써 기 학습된 머신러닝 모델을 구축할 수 있다. 대화 데이터가 누적 저장됨에 따라, 기 설정된 주기에 따라 전술한 동작 11 내지 14를 반복하여 수행함으로써, 기 학습된 머신러닝 모델의 성능은 향상될 수 있다. 한편, 상기 과정에서 필요한 경우에는 반드시 사용자 단말(100)의 대화 데이터는 아니라고 하더라도 외부 소스로부터 참조 대화 데이터를 수신하여, 상기 머신러닝 모델의 구축 또는 성능 향상에 참조할 수 있다.In operation 14, the service providing device 100 may build a pre-learned machine learning model by performing learning on the machine learning model using the generated data set. As the conversation data is accumulated and stored, the performance of the pre-learned machine learning model can be improved by repeatedly performing the above-described operations 11 to 14 according to a preset period. Meanwhile, if necessary in the above process, reference conversation data may be received from an external source, even if not necessarily conversation data of the user terminal 100, and referred to for building or improving performance of the machine learning model.

도 4는 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델을 구축하여 적용하는 절차의 일 예를 나타내는 순서도이다.4 is a flowchart illustrating an example of a procedure for constructing and applying a pre-learned machine learning model according to an embodiment of the present disclosure.

도 5는 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델을 구축하여 적용하는 절차의 일 예를 나타내는 도면이다.5 is a diagram illustrating an example of a procedure for constructing and applying a pre-learned machine learning model according to an embodiment of the present disclosure.

도 6은 본 개시의 일 실시예에 따라 커뮤니케이션 서비스 제공 장치에서 대화 데이터를 기반으로 언어 패턴을 수행함으로써 학습된 데이터를 생성하는 일 예를 나타내는 도면이다.6 is a diagram illustrating an example of generating learned data by performing a language pattern based on conversation data in a communication service providing device according to an embodiment of the present disclosure.

도 4를 참조하면, 동작 21에서, 서비스 제공 장치(100)는 소셜 네트워크 서비스(SNS) 기반 메신저와 연동할 수 있다.Referring to FIG. 4 , in operation 21, the service providing device 100 may interwork with a social network service (SNS)-based messenger.

동작 22에서, 서비스 제공 장치(100)는 상기 연동된 소셜 네트워크 서비스(SNS) 기반 메신저를 통하여 대화 데이터를 수집하고, 수집된 대화 데이터를 파싱하여 로우 데이터(raw data)를 획득할 수 있다. In operation 22, the service providing device 100 may collect conversation data through the linked social network service (SNS)-based messenger and obtain raw data by parsing the collected conversation data.

이 때, 상기 수집되는 대화 데이터는 사용자 단말(100)에 의해 입력된 데이터뿐만 아니라 상기 메신저를 통하여 상기 사용자 단말(100)과 대화를 주고받는 타 사용자 단말에 의해 입력된 데이터도 포함될 수 있다. 한편, 상기 타 사용자 단말에 의해 입력된 데이터는 상기 타 사용자 단말 역시 서비스 제공 장치(100)에 의해 제공되는 소셜 네트워크 서비스(SNS)와 연동한 경우에는 직접 수집 가능하나, 그렇지 않은 경우에는 다르게 처리될 수 있다. 예를 들어, 서비스 제공 장치(100)는 상기 타 사용자 단말에 의해 입력된 데이터를 TTS와 STT 절차, 이미지 처리 등의 과정을 거쳐 획득할 수 있다.In this case, the collected conversation data may include not only data input by the user terminal 100 but also data input by other user terminals exchanging conversations with the user terminal 100 through the messenger. On the other hand, the data input by the other user terminal can be directly collected if the other user terminal also interworks with the social network service (SNS) provided by the service providing device 100, but otherwise it will be processed differently. can For example, the service providing device 100 may acquire data input by the other user terminal through processes such as TTS, STT, and image processing.

동작 23에서, 서비스 제공 장치(100)는 획득된 로우 데이터로부터 라벨링 데이터(labeling data)를 생성할 수 있다.In operation 23, the service providing apparatus 100 may generate labeling data from the acquired raw data.

이 때, 상기 서비스 제공 장치(100)는, 상기 획득된 로우 데이터로부터 언어적 및 비언어적 표현으로부터 감정 추출을 통해 상기 라벨링 데이터를 생성할 수 있다. 여기서, 상기 비언어적 표현이라 함은 예를 들어, 이모티콘, 이미지, 동영상 등에 의한 표현을 포함할 수 있다.In this case, the service providing apparatus 100 may generate the labeling data by extracting emotions from verbal and non-verbal expressions from the obtained raw data. Here, the non-verbal expression may include, for example, an emoticon, an image, a video, or the like.

도 6을 참조하면, 서비스 제공 장치(100)는, 기 설정된 머신러닝 알고리즘을 기반으로 코퍼스 토큰화 기반 어노테이션, 미완결 텍스트 분석, 기 설정된 주기 간 컨텍스트 분석 및 이미지 데이터 분석 중 적어도 하나의 수행을 통하여 상기 라벨링 데이터를 생성할 수 있다.Referring to FIG. 6 , the service providing apparatus 100 performs at least one of corpus tokenization-based annotation, incomplete text analysis, context analysis between preset periods, and image data analysis based on a preset machine learning algorithm. Labeling data can be created.

동작 24에서, 서비스 제공 장치(100)는, 상기 생성된 라벨링 데이터에 기초하여 어노테이션 데이터(예를 들어, 도 6의 어노테이티드 셋)의 개인 정보 비식별화를 수행할 수 있다.In operation 24, the service providing apparatus 100 may perform personal information de-identification of annotation data (eg, the annotated set of FIG. 6) based on the generated labeling data.

서비스 제공 장치(100)는 상기 어노테이션 데이터에서 개인 정보를 비 식별화 처리를 한 후에 남은 데이터 셋을 추출할 수 있다. 동작 25에서, 상기 서비스 제공 장치(100)는 이렇게 추출된 즉, 개인정보가 비식별화 처리된 데이터 셋을 학습 모델에 입력하여 데이터를 훈련(training)시켜 학습된 데이터를 추출할 수 있다.The service providing apparatus 100 may extract a data set remaining after personal information is de-identified from the annotation data. In operation 25, the service providing apparatus 100 may extract the learned data by training the data by inputting the extracted data set, that is, the personal information is de-identified, to the learning model.

동작 26에서, 서비스 제공 장치(100)는, 상기 학습의 완료 여부를 판단할 수 있다.In operation 26, the service providing apparatus 100 may determine whether the learning is completed.

동작 27에서, 서비스 제공 장치(100)는 상기 동작 25에서의 학습이 완료되지 않았다고 판단되면, 파라미터 튜닝 및 라벨링 검증 동작을 수행할 수 있다. 이를 통해 상기 학습은 계속될 수 있다.In operation 27, if it is determined that the learning in operation 25 is not completed, the service providing apparatus 100 may perform parameter tuning and labeling verification operations. Through this, the learning can be continued.

동작 28에서, 서비스 제공 장치(100)는 상기 동작 25에서 학습 완료 여부판단 결과, 상기 학습이 완료된 것으로 판단되면 언어 패턴 분석을 위한 본 개시에 따른 학습된 머신러닝 모델 구축을 완료하고, 언어 패턴 분석 서비스에 적용할 수 있다.In operation 28, the service providing apparatus 100 completes the construction of the learned machine learning model according to the present disclosure for language pattern analysis when it is determined that the learning is completed as a result of determining whether the learning is completed in operation 25, and analyzes the language pattern. service can be applied.

도 5를 참조하면, 서비스 제공 장치(100)는 대화 데이터에 대한 로우 데이터를 획득하여 이를 전처리하여 전처리된 데이터를 확보할 수 있다.Referring to FIG. 5 , the service providing apparatus 100 may acquire raw data for conversation data and pre-process it to secure pre-processed data.

서비스 제공 장치(100)는 이렇게 확보된 전처리된 데이터에 머신러닝 알고리즘을 적용하여 언어 패턴 분석을 위한 머신러닝 모델을 구축하고 실행하여 분석 결과 데이터를 출력 제어(예를 들어, 전개(deployment))할 수 있다.The service providing device 100 constructs and executes a machine learning model for language pattern analysis by applying a machine learning algorithm to the obtained preprocessed data, and outputs control (eg, deployment) of the analysis result data. can

상기 적용되는 머신러닝 알고리즘은 피팅/튜닝(fitting/tuning) 과정을 거쳐 업데이트(update)될 수 있다.The applied machine learning algorithm may be updated through a fitting/tuning process.

한편, 도 6을 참조하면, 서비스 제공 장치(100)는 로우 데이터로서 기 설정된 기간 동안 누적하여 저장된 대화 데이터를 획득하고, 미리 기 설정된 알고리즘을 이용하여 획득된 대화 데이터에 대한 언어 패턴을 분석할 수 있다. Meanwhile, referring to FIG. 6 , the service providing apparatus 100 may obtain raw data accumulated and stored for a preset period of time and analyze a language pattern of the acquired dialog data using a preset algorithm. there is.

이 때, 서비스 제공 장치(100)는 언어 패턴을 분석할 때, 전술한 바와 같이, 머신러닝 알고리즘으로서 텍스트 즉, 자연어 처리와 관련된 NLP를 이용하여 코퍼스 토큰화 기반 어노테이션, 미완결 텍스트 분석 및 기 설정된 주기 간 대화 컨텍스트 분석을 수행하고, 이미지 등 처리와 관련된 CNN을 이용하여 이미지 데이터 분석을 수행할 수 있다. 상기 분석 수행의 결과로, 어노테이티드 셋(annotated set)이 구축될 수 있다. 한편, 상기 NLP는 통상적인 자연어 처리를 넘어 신경언어프로그래밍(Neural Language Progarmming)을 나타낼 수도 있다.At this time, when the service providing device 100 analyzes the language pattern, as described above, corpus tokenization-based annotation, incomplete text analysis, and predetermined cycles are performed using text, that is, NLP related to natural language processing, as a machine learning algorithm. Inter-conversation context analysis may be performed, and image data analysis may be performed using a CNN related to image processing. As a result of performing the above analysis, an annotated set may be constructed. Meanwhile, the NLP may represent neural language programming beyond normal natural language processing.

상기에서, 코퍼스 토큰화 기반 어노테이션은 예를 들면, 사용자의 소셜 네트워크 서비스 상에 대화(text) 문장을 코퍼스 단위(예를 들어, 컴퓨터가 인식할 수 있는 의미 최소 단위)로 분절(tokenizing)하고, 분절된 개별 코퍼스에 대하여 감정에 대한 긍정/중립/부정, 이해(득/실), 시간(과거/현재/미래), 감각(시각/청각/촉각/생각) 등으로 어노테이션한 것으로 정의할 수 있다. 전술한 바와 같이, 본 개시는 상기 열거된 어노테이션 분류에만 한정되는 것은 아니다.In the above, the corpus tokenization-based annotation is, for example, tokenizing a text sentence on a user's social network service into a corpus unit (eg, a minimum unit of meaning that can be recognized by a computer), It can be defined as annotating the segmented individual corpus with positive/neutral/negative emotions, understanding (gains/losses), time (past/present/future), senses (visual/hearing/tactile/thoughts), etc. . As noted above, the present disclosure is not limited to the annotation classes listed above.

상기에서, 미완결 텍스트 분석은, 입력받는 대화 데이터의 전체 맥락에서 표현 빈도 및 표현 맥락을 분석하는 것으로 예를 들어, 단일 자음(ㅋㅋㅋ, ㅎㅎㅎ 등)/모음(ㅠㅠ 등)에 대한 사용자의 대화 내 활용 태양 등 컨텍스트 분석을 통한 잘못된 라벨링을 개선할 수 있다. 예를 들어, 일반적인 라벨링의 경우와 다르게, 사용자가 슬프거나 당황스러울 때 "ㅋㅋㅋㅋ"를 사용한다거나, 재밌거나 귀여울 때 "ㅠㅠㅠㅠ"를 사용하는 등의 활용 태양을 분석을 통하여 라벨링 오류를 바로 잡거나 갱신할 수 있다.In the above, the incomplete text analysis is to analyze the expression frequency and expression context in the entire context of the input conversation data. Incorrect labeling can be improved through context analysis such as the sun. For example, unlike the case of general labeling, correcting labeling errors through analysis of usage patterns, such as using "ㅋㅋ" when a user is sad or embarrassed or "ㅠㅠㅠㅠ" when funny or cute. can be renewed

또한, 상기에서, 기 설정된 주기 간 대화 컨텍스트 분석은, 일정 대화 주기간 대화의 컨텍스트를 별도 판정하되 예를 들어, "슬픈 기분" 일 때의 대화 맥락 및 사용 표현과, "즐거운 기분"일 때의 대화 맥락 및 사용 표현 등에 대한 구분을 나타낼 수 있다. In addition, in the above, the conversation context analysis between predetermined periods separately determines the context of the conversation between certain conversation periods, for example, the conversation context and usage expression when "sad mood" and the conversation context when "happy mood" Classification of conversational contexts and usage expressions can be indicated.

이 때, 구축된 사용자 별 감정 분석 데이터에 기반하여, 1차 대화 컨텍스트를 판정하고, 감정이 판정된 시점으로부터 기 설정된 시간 구간(예를 들어, 6시간 / 하루 / 일주일 / 한달 등) 동안의 대화 맥락을 비교 및 교차 검증하여, 동일한 표현의 다른 감정 라벨링을 추출하고 피드백을 요청할 수 있다.At this time, based on the established emotion analysis data for each user, the primary conversation context is determined, and the conversation for a predetermined time interval (eg, 6 hours / day / week / month, etc.) from the time when the emotion is determined By comparing and cross-validating contexts, different emotion labelings of the same expression can be extracted and feedback can be requested.

그 밖에, 이미지 데이터 분석은, 소셜 네트워크 서비스(SNS) 상 대화 맥락에 첨부된 이미지(예를 들어, 사진, GIF(Graphic Interchange Format) 등), 이모티콘, 이모지, 스티커 등의 비언어 또는 비텍스트이지만 감정을 포함하는 표현(expression)의 표정, 사용 빈도, 사용 맥락 등에 대한 분석을 통해 컨텍스트를 도출할 수 있다.In addition, image data analysis is performed on non-verbal or non-text images such as images (eg, photos, Graphic Interchange Format (GIF), etc.), emoticons, emojis, stickers, etc. attached to the conversation context on social networking services (SNS). However, the context can be derived through analysis of facial expression, frequency of use, context of use, etc. of expressions including emotions.

서비스 제공 장치(100)는 이렇게 구축된 이노테이티드 셋에 대한 개인정보 비식별화를 수행하여 데이터 셋(data set)을 구축하고, 그 데이터 셋을 학습 데이터로 하여 머신러닝 모델에 입력함으로써 학습을 수행한다. 이로써, 학습된 데이터가 생성될 수 있다.The service providing device 100 constructs a data set by performing personal information de-identification on the constructed innotated set, and inputs the data set as training data to a machine learning model to perform learning carry out In this way, learned data may be generated.

도 7 내지 9는 본 개시의 일 실시예에 따른 커뮤니케이션 서비스 동작을 설명하기 위한 예시를 나타낸 도면이다.7 to 9 are diagrams illustrating examples for explaining a communication service operation according to an embodiment of the present disclosure.

상술한 바와 같이, 본 개시는 인공지능 기반으로 대화 데이터를 실시간 분석하여 분석 결과와 발화 의도에 따른 대응 정보 즉, 추천 답변을 제공하는 것이다.As described above, the present disclosure is to analyze conversation data in real time based on artificial intelligence and provide corresponding information according to the analysis result and speech intention, that is, a recommended answer.

본 개시에 따라 화자의 언어 패턴을 분석하여, 이를 수치화 또는 객관화하여, 화자의 발화 의도와 스트레스 정도를 분석할 수 있는데, 이것은 스피치(프레젠테이션 등) 훈련, 상담/협상 보조, 마케팅 등에 활용될 수도 있다.According to the present disclosure, it is possible to analyze a speaker's language pattern, quantify or objectify it, and analyze the speaker's speech intention and stress level, which can be used for speech (presentation, etc.) training, counseling/negotiation assistance, marketing, etc. .

본 개시에서는 이를 위해, 분석되는 언어의 패턴 유형을 미리 정의하고, 이를 위한 언어 패턴의 기초 데이터를 수집 가공할 수 있다. 이 때, 상기 정의되는 언어 패턴은, 단지 추상적인 '감정＇이 아닌, 수치화/객관화 가능한 복수의 카테고리에 대한 언어 패턴 분석해 발화 의도와 발화 맥락을 분석하여 언어 분석을 정량화하는 것이다. 이 때, 상기 복수의 카테고리에는 예를 들어, 감각, 시간, 이해득실, 판단 등이 포함될 수 있다. 다만, 본 개시가 이에 의해 제한되는 것은 아니다.In the present disclosure, for this purpose, the pattern type of the language to be analyzed may be defined in advance, and basic data of the language pattern for this purpose may be collected and processed. At this time, the defined language pattern is not just abstract 'emotion', but language pattern analysis for a plurality of categories that can be quantified/objectified to analyze speech intention and speech context to quantify language analysis. In this case, the plurality of categories may include, for example, sensation, time, gain/loss of understanding, judgment, and the like. However, the present disclosure is not limited thereto.

본 개시는 예를 들어, 커뮤니케이션에 어려움을 겪는 기업이나 개인을 위해 커뮤니케이션을 원활히 할 수 있도록 적정 대화(예를 들어, 추천 대응)를 지원하여 스트레스를 줄일 수 있도록 하여, 편안하고 효과적인 커뮤니케이션이 가능하도록 돕는 안심 커뮤니케이션 관리 서비스를 제공할 수 있다.The present disclosure, for example, enables comfortable and effective communication by reducing stress by supporting appropriate conversations (eg, recommended responses) so that communication can be facilitated for companies or individuals experiencing communication difficulties. We can provide a safe communication management service that helps.

본 개시에 따른 서비스 제공 장치(100)는 인공지능 기반 언어 패턴 분석을 통해 상대방의 의도와 스트레스 정도를 파악해서 수치화 객관화 된 언어 패턴 분석 정보를 상기 분석 정보에 기반한 대응 대화 정보와 함께 제공할 수 있다. 이를 통해, 사용자는 분석 정보의 오류 등을 발견하거나 정정하도록 피드백하여, 추후 상기 서비스 제공 장치(100)의 분석 학습 모델을 업데이트할 수 있다. The service providing apparatus 100 according to the present disclosure can identify the other party's intention and stress level through artificial intelligence-based language pattern analysis, and provide digitized and objectified language pattern analysis information along with corresponding conversation information based on the analysis information. . Through this, the user can provide feedback to discover or correct errors in the analysis information, so that the analysis learning model of the service providing device 100 can be updated later.

따라서, 본 개시는 예를 들어, 심리 상담, 고객 상담, 법률, 세무, 의학과 같은 전문가나 기업체, 선생님과 같은 상담과 소통이 잦은 직업군에 유용할 수 있을 뿐만 아니라 향후 스피치(프레젠테이션) 훈련, 협상/상담 등 특수 커뮤니케이션 보조, 마케팅, 인사 관리 등 다양한 커뮤니케이션 상황에 서비스를 확대 적용할 수 있다.Therefore, the present disclosure can be useful, for example, for professional groups such as psychological counseling, customer counseling, law, taxation, medicine, corporations, and teachers who frequently consult and communicate, as well as for future speech (presentation) training and negotiations. / The service can be expanded and applied to various communication situations such as special communication assistance such as consultation, marketing, and personnel management.

본 개시에 따른 커뮤니케이션 서비스를 어플리케이션이나 웹 형태로 제공할 수 있으며, 이를 통해 사용자는 시간과 장소의 제약없이 필요할 때 이용할 수 있도록 서비스를 구성할 수 있다. The communication service according to the present disclosure can be provided in the form of an application or web, and through this, the user can configure the service so that it can be used when needed without time and place limitations.

도 7을 참조하면, 본 개시에 따른 커뮤니케이션 서비스를 위하여, 서비스제공 장치(100)는, 뉴스나 기사 등에 사용되는 어휘뿐만 아니라 통상의 사용자들이 일상생활 속에서 타인과 커뮤니케이션 과정에서 사용되는 어휘를 참조할 수 있다. 특히, 후자의 경우에는 구어체적인 특성이 있기 때문에, 예를 들어 문어체에서 이용되는 단어의 사용이나 의미와 다를 수 있어, 통상의 사용자들의 일상 커뮤니케이션에서 이용되는 예를 들어, 실제 메신저 채팅 등을 통해 나누는 대화나 게시글, 일기, 댓글과 같이 그들이 실제 작성한 글을 대상으로 데이터 수집할 수 있다. 특히, 그러한 단어들 중에서 사전 등에 등재되지 않는 축약어 내지 신조어 등이 다수 포함될 수 있어, 이에 대한 데이터 수집은 본 개시에 의한 커뮤니케이션 서비스 제공 시, 문맥을 이해하거나 오류를 줄이는데 기여될 수 있다.Referring to FIG. 7 , for the communication service according to the present disclosure, the service providing device 100 refers to not only the vocabulary used in news and articles, but also the vocabulary used by ordinary users in the process of communicating with others in daily life. can do. In particular, since the latter case has colloquial characteristics, for example, it may be different from the use or meaning of words used in written language, so it is used in daily communication of normal users, for example, through real messenger chatting. Data can be collected for their actual writing, such as conversations, posts, diaries, and comments. In particular, among such words, a number of abbreviations or new words that are not listed in a dictionary may be included, and data collection on them may contribute to understanding the context or reducing errors when providing a communication service according to the present disclosure.

본 개시에 따른 서비스 제공 장치(100)는, NLP에서 커뮤니케이션 서비스의 개선을 위하여 활용 가능한 대표적인 언어 모델인 메타 모델(표 1)과 밀튼 모델(표 2)를 참조할 수 있다.The service providing apparatus 100 according to the present disclosure may refer to a meta model (Table 1) and a Milton model (Table 2), which are representative language models that can be used to improve communication services in NLP.

메타 모델meta model 상위 카테고리parent category 하위 카테고리subcategory 삭제delete 사물, 사람 누락missing things and people 가리키는 것이 누락Missing the pointing 구체적이지 않은 동사non-specific verb 명사화nounization 왜곡distortion 원인, 결과cause, effect 마음 읽기mind reading 정보의 근원이 없음no source of information 일반화generalization 보편적인 수량화universal quantification 모달 오퍼레이트modal operator

밀튼 모델milton model 유형category 예시example 연결이나 결합 고리를 활용Utilize a link or linkage - 당신이 깊은 숨을 들이쉴 때 당신은 눈을 감게 될 것이다.
- 그 이미지를 더 선명하게 한 후에 당신은 정말로 편안해질 것이다.
- 눈을 감으면 당신은 그 사람을 상상으로 볼 것이다.
- 내 손이 당신의 어깨를 칠 때, 당신은 생각하지 못했던 무엇인가를 기억해 낼 것이다.- When you take a deep breath, you will close your eyes.
- After sharpening that image you will feel really comfortable.
- If you close your eyes, you will see that person in your imagination.
- When my hand hits your shoulder, you'll remember something you didn't expect. 모호한 표현을 활용use ambiguous expressions - 누구십니까?
- 어떠세요?
- 무엇을 원하세요?
- 요즈음 어떤 것에 관심이 많으세요?- who are you?
- How are you?
- What do you want?
- What are you interested in these days? 전제를 적극 활용Make full use of the premise - 지금 사인하시겠습니까? 5분 뒤에 하시겠습니까?
(전제: 이미 사인할 것으로 예상되어 있고, 문제는 그것이 언제인가 이다.)
- 당신은 기분이 얼마나 더 좋습니까? (전제: 당신은 기분이 좋다.)
- 당신은 계속해서 편안할 수 있다. (전 : 당신이 이미 편안하다.)- Would you like to sign now? Would you like to do it in 5 minutes?
(Premise: it's already expected to sign, the question is when.)
- How much better do you feel? (Premise: You feel good.)
- You can continue to be comfortable. (Before: You are already comfortable.)

본 개시의 일 실시예에 따른 서비스 제공 장치(100)는 미리 정한 개수의 분석 척도에 해당하는 말뭉치(언어 기반)을 구축할 수 있다. The service providing apparatus 100 according to an embodiment of the present disclosure may construct a corpus (language-based) corresponding to a predetermined number of analysis criteria.

본 개시에서 사용되는 "말뭉치(Corpus)"는　언어학에서 주로 구조를 이루고 있는 텍스트 집합을 말한다. 말뭉치는 단일한 언어(단일언어 말뭉치) 또는 여러 언어(다중언어 말뭉치)의 텍스트를 포함하고 있는 경우가 있다. 언어 연구를 더 효과적으로 하기 위해 말뭉치가　종종 말뭉치 주석(annotation, 어노테이션)이라는 과정을 거치기도 한다. 말뭉치 단어의 한 예는 각 단어의 품사 표기(동사, 명사, 형용사 등)에 대한 정보가 말뭉치에 '태그'의 형태로 추가되는 '품사 표기(part-of-speech tagging, POS-tagging)'이다. 어떤 말뭉치는 한층 더 구조적인 수준의 분석이 적용될 수 있는데 특히, 많은 소 말뭉치는 구문 분석이 완전히 이루어질 수 있다. 그러한 말뭉치들은 트리뱅크(Treebank) 또는 분석된 말뭉치(parsed corpora)라고 한다. 형태론,　의미론　또는　화용론적 주석을 포함하는 다른 수준의 언어학적 구조 분석이 가능하다. 말뭉치는　말뭉치 언어학에서의 주요한 지식 기반이며, 또한 다양한 형태의 말뭉치를 분석하고 처리하는 것은 품사 표기 및 다른 목적을 위하여 은닉 마르코프 모델(Hidden Markov Model, HMM)을 만들어 사용하는　전산언어학,　음성 인식,　기계 번역　분야의 연구 대상이기도 하다. 여기에서 파생된 말뭉치와　빈도 목록은　언어 교육에 유용하게 사용될 수 있다. As used in this disclosure, “Corpus” refers to a set of texts that are mainly structured in linguistics. A corpus may contain text in a single language (monolingual corpus) or in several languages (multilingual corpus). To make language studies more effective, corpora often go through a process called corpus annotation. One example of corpus words is 'part-of-speech tagging' (POS-tagging), in which information about the part-of-speech notation (verb, noun, adjective, etc.) of each word is added to the corpus in the form of a 'tag'. . Some corpora can be subjected to a more structural level of analysis; in particular, many small corpora can be completely parsed. Such corpora are called treebanks or parsed corpora. Different levels of linguistic structure analysis are possible, including morphological, semantic, or pragmatic annotations. The corpus is the main knowledge base in corpus linguistics, and analyzing and processing various types of corpora is computational linguistics, speech recognition, and machines that create and use Hidden Markov Models (HMMs) for parts of speech and other purposes. It is also a subject of research in the field of translation. The corpus and frequency list derived from this can be usefully used for language education.

표 3에서는 예를 들어, 구축되는 말뭉치의 예시를 나타내었다.Table 3 shows an example of a corpus to be constructed, for example.

감각(시각형) 언어 예시Examples of Sensory (Visual) Language 긍정/중립/부정 언어 예시Examples of positive/neutral/negative language - 눈에 선하다
- 모습이 보이는 것 같다
- 새파란 하늘
- 노을이 진 풍경
- 눈에 띄는
- 흐릿하게 보이는- good for the eyes
- It looks like
- Clear blue sky
- Sunset scenery
- stand out
- blurry look 긍정
- ~덕분이다
- 행복하다
- 즐겁다
- 설렌다
- 기대 이상Positive
- thanks to
- happy
- fun
- Excited
- beyond expectations 중립
- 그저 그렇다
- 보통이다
- 잘 모르겠다neutrality
- so so
- is average
- I do not know 부정
- ~탓이다
- 불행하다
- 슬프다
- 지친다
- ~만도 못한denial
- It is to blame
- unhappy
- sad
- tired
- not even 이해득실 언어 예시Examples of language gains and losses 시간 언어 예시time language example 득
- 도움이 된다
- 이득이다
- 개꿀profit
- Helpful
- It's a benefit
- honey 실
- ~라면
- ~안한다
- 폐를 끼친다
- 손해line
- ~ Ramen
- don't
- cause trouble
- loss 과거
- 예전에
- 매번
- 어제
- 지난 번past
- Before
- every time
- yesterday
- last time 현재
- 지금
- 오늘
- 이 순간today
- now
- today
- this moment 미래
- N년/개월/일 후
- 나중에
- 다 크면
- 늙으면future
- After N years/months/days
- later
- When you're all grown up
- when you get old

본 개시에 따른 서비스 제공 장치(100)는 예를 들어, 도 7의 (a)에서와 같이 캡쳐나 사진과 같이 정지영상 이미지이나 텍스트 형태로 데이터를 수집하여, 미리 정의된 분류 척도에 해당하는 어휘를 도 7의 (b) 내지 (d)에서와 같이, 바운딩, 전사(OCR: Optical Character Recognition), 및 태깅(tagging)하는 형식으로 가공할 수 있다.The service providing apparatus 100 according to the present disclosure collects data in the form of a still image or text, such as a capture or a photo, for example, as shown in (a) of FIG. 7, and a vocabulary corresponding to a predefined classification scale. As shown in (b) to (d) of FIG. 7, it can be processed in the form of bounding, optical character recognition (OCR), and tagging.

도 7의 (a)는 수집되는 메신저 대화 내용을 도시한 것으로, 상기 대화 내용은 메신저를 캡처한 이미지나 텍스트 데이터 형태일 수 있다.FIG. 7(a) shows collected messenger conversation contents, and the conversation contents may be in the form of a messenger captured image or text data.

도 7의 (b)는 이렇게 수집된 메신저 대화 내용으로부터 본 개시에서 미리 분류한 척도에 관련된 어휘를 바운딩한 것을 설명하기 위해 도시한 것이다. 여기서, 도 7의 (b)는 예를 들어, 상기 미리 분류된 척도로 시간을 예로 하여 관련 언어를 바운딩한 화면으로 볼 수 있다.FIG. 7(b) is illustrated to explain the bounding of the vocabulary related to the pre-classified scale in the present disclosure from the messenger conversation contents collected in this way. Here, (b) of FIG. 7 can be seen as a screen in which related languages are bound by taking time as an example as the pre-classified scale.

도 7의 (c)는 상기 도 7의 (b)를 통해 바운딩된 어휘를 추출한 것이다. 이 때, 상기 추출은 전사 즉, OCR 기법이 이용될 수 있으나, 이에 한정되는 것은 아니다. 도 7의 (c) 우측에 도시된 텍스트가 상기 추출된 어휘이다.(c) of FIG. 7 extracts the vocabulary bound through (b) of FIG. 7. At this time, the extraction may be performed by transcription, that is, an OCR technique, but is not limited thereto. The text shown on the right side of (c) of FIG. 7 is the extracted vocabulary.

도 7의 (d)는 상기 도 7의 (c)를 통해 추출된 어휘를 태깅한 것이다. 도 7의 (d) 우측을 참조하면, 시제 관련 단어, 기타 시간 관련 단어 등이 구분되도록 태깅된 것을 알 수 있다. (d) of FIG. 7 is a tagging of the vocabulary extracted through (c) of FIG. 7 . Referring to the right side of (d) of FIG. 7 , it can be seen that tense-related words and other time-related words are tagged to be distinguished.

시제 관련 단어로, 과거 관련 단어(저번), 현재 관련 단어(아직, 이번에도), 및 미래 관련 단어(내일까지, 늦으면, 받으면)가 태깅되었다.As tense-related words, past-related words (last time), present-related words (yet, this time), and future-related words (until tomorrow, if it's late, if you get it) were tagged.

기타 시간 관련 단어로, 빈도 관련 단어(맨날, 또, 매번 등), 특정 시간 지칭 단어(하루, 삼일, 마감일 등), 및 시간 흐름 관련 단어(지나서 등)가 태깅되었다.As other time-related words, frequency-related words (everyday, again, every time, etc.), specific time designation words (one day, three days, deadline, etc.), and time-flow related words (past, etc.) were tagged.

도 7의 (d)의 태깅은 일실시예로서, 도 7의 (b) 내지 (c) 과정을 통해서 바운딩되고 추출된 단어에 따라서 달라질 수 있다. The tagging in (d) of FIG. 7 is an example, and may vary depending on words bound and extracted through processes (b) to (c) of FIG. 7 .

한편, 도 7은 설명의 편의상 분류 척도를 시간으로 한정하여 설명하였으나, 본 개시가 이에 한정되는 것은 아니다.Meanwhile, FIG. 7 has been described by limiting the classification scale to time for convenience of explanation, but the present disclosure is not limited thereto.

예컨대, 도 8은 전술한 도 7의 (b) 내지 (d)의 과정을 거쳐 메신저 사용 내역에 대한 언어 패턴 분석의 예시이다.For example, FIG. 8 is an example of language pattern analysis for messenger usage history through the processes of (b) to (d) of FIG. 7 described above.

도 8은 실제 서비스 제공 장치(100)의 언어 패턴 분석 과정으로 볼 수 있으며, 이것은 단말(200) 제공될 수도 있다. 단말(200)은 이를 확인하여 피드백 데이터를 제공하여, 언어 패턴 분석의 향상이나 개인화에 기여할 수 있다.8 can be viewed as a language pattern analysis process of the actual service providing device 100, which may be provided to the terminal 200. The terminal 200 can contribute to improvement or personalization of language pattern analysis by confirming this and providing feedback data.

도 8의 좌측 대화 화면을 보면, 도 8의 우측 상단에 개시된 예를 들어, 컬러로 구분된 개별 범례(분류 척도)가 표시된 것을 알 수 있다.Looking at the conversation screen on the left side of FIG. 8 , it can be seen that, for example, the color-coded individual legends (classification scales) are displayed on the upper right side of FIG. 8 .

한편, 도 8의 우측 하단에는, 상기 각 범례에 따른 빈도 분석 결과를 예시하였다. 예를 들어, 긍정/중립/부정 언어 범례에 대하여, 추출된 단어로 '못하다', '안되다'와 같은 부정적인 언어 패턴의 사용 빈도가 높다는 분석 결과가 제공될 수 있다. 이해득실 언어 범례에 대하여, 부정 언어 사용 패턴의 빈번한 사용과 함께 '실(-)'에 해당하는 언어 패턴 사용 빈도가 높게 나타난다는 분석 결과가 제공될 수 있다. 시간 언어 범례에 대하여, '맨날'이라는 단어의 사용 빈도가 다른 대화 내에서 사용된 '또', '내일'과 같은 시간 언어 사용 빈도 대비 월등히 높다는 분석 결과가 제공될 수 있다. 그리고 감각 언어 범례에 대하여, 해당 대화에서 감각 언어 사용은 크게 두드러지진 않았으나, '동네북이 되다'라는 촉각적 표현이 사용되었음에 관한 분석 결과가 제공될 수 있다.On the other hand, in the lower right corner of FIG. 8, the frequency analysis results according to each of the above legends are exemplified. For example, with respect to positive/neutral/negative language legends, an analysis result may be provided indicating that negative language patterns such as 'can't' and 'can't' are frequently used as extracted words. With respect to the language gain-and-loss legend, an analysis result may be provided in which a frequency of using a language pattern corresponding to 'true (-)' appears high along with frequent use of a negative language use pattern. With respect to the time language legend, an analysis result may be provided in which the frequency of use of the word 'everyday' is much higher than the frequency of use of the word 'another' or 'tomorrow' used in other conversations. And with respect to the sensory language legend, although the use of sensory language was not very prominent in the conversation, an analysis result regarding the use of the tactile expression 'to become a neighborhood book' can be provided.

본 개시의 일실시예에 따른 서비스 제공 장치(100)는 각 범례에 대하여 그 자체로 독립적인 분석을 수행할 수도 있고, 다른 범례와 조합하여 분석을 수행할 수도 있다. 또한, 상기 서비스 제공 장치(100)는 개인화 서비스와 관련하여, 현재의 대화 내용을 그 자체로 분석할 수도 있고, 이전 분석한 결과를 참고하여, 비교 분석 결과를 제공할 수도 있다. 한편, 상기 서비스 제공 장치(100)는 상기와 같은 분석 결과에 기초하여 향후 대화 내용을 예상 또는 예측할 수도 있다. 이 때, 상기 서비스 제공 장치(100)는 상기 미래 대화 내용 예상 내지 예측과 관련하여, 필요한 경우, 사용자의 일정 정보, 건강 정보, 이메일 등 다양한 개인 정보 중 적어도 하나 이상을 참고할 수 있다. The service providing apparatus 100 according to an embodiment of the present disclosure may perform independent analysis on each legend by itself or may perform analysis in combination with other legends. In addition, the service providing device 100 may analyze the current conversation itself in relation to the personalized service, or may provide a comparative analysis result by referring to a previous analysis result. Meanwhile, the service providing device 100 may predict or predict future conversation contents based on the above analysis result. At this time, the service providing device 100 may refer to at least one or more of various personal information such as schedule information, health information, and e-mail of the user, if necessary, in relation to the prediction or prediction of future conversation contents.

상기 도 7 내지 8의 내용을 참고하여, 본 개시의 일 실시예에 따른 서비스 제공 장치(100)는 도 9의 하단과 같이 추천 답변(예상 또는 예측 답변)을 제공할 수 있다. Referring to the contents of FIGS. 7 and 8 , the service providing apparatus 100 according to an embodiment of the present disclosure may provide a recommended answer (expected or predicted answer) as shown at the bottom of FIG. 9 .

도 9를 참조하면, 상기 추천 답변은 제1 정보로, 대화 내용 분석 결과(요약 정보 등) 데이터와 제2 정보로 상기 제1 정보 기반 추천 답변 메시지를 포함할 수 있다. 여기서, 상기 추천 답변의 이용과 관련하여, 해당 추천 답변 메시지를 그대로 이용하는 것에 관란 기능 버튼과 사용자에 의한 직접 작성이나 상기 추천 메시지 수정 등에 관한 기능 버튼 등이 제공될 수 있다.Referring to FIG. 9 , the recommended answer may include, as first information, conversation content analysis result data (summary information, etc.) and the first information-based recommended answer message as second information. Here, in relation to the use of the recommended answer, a function button related to using the corresponding recommended answer message as it is and a function button related to direct creation by the user or modification of the recommended message may be provided.

한편, 도 9에 도시된 추천 답변은, 메시지 형태이나 본 개시는 반드시 이에 한정되는 것은 아니다. 예를 들어, 상기 추천 답변은, 음성, 이미지, 동영상 등 다양한 형태의 정보가 제공되거나 그들의 조합 형태일 수 있다. 즉, 단지 추천 답변으로 예를 들어, '힘내'라는 텍스트 형태만 제공되기 보다는 '힘내'라는 메시지와 별개로 또는 함께 사용자 등의 육성 기반 음성으로 힘내라는 메시지를 제공하는 것이 추천될 수 있다. 또는, 상기 텍스트 형태에 대응하는 동영상이 함께 제공될 수도 있다.Meanwhile, the recommended answer shown in FIG. 9 is in the form of a message, but the present disclosure is not necessarily limited thereto. For example, the recommended answer may be provided with various types of information such as voice, image, and video, or a combination thereof. That is, it may be recommended to provide a message to cheer up with a voice based on the voice of the user, separately or together with the message 'Cheer up', rather than providing only the text 'Cheer up' as a recommended answer. Alternatively, a video corresponding to the text format may be provided together.

도 10은 본 개시의 일 실시예에 따라 기 학습된 머신러닝 모델을 구축하여 적용하는 절차의 일 예를 나타내는 도면이다.10 is a diagram illustrating an example of a procedure for constructing and applying a pre-learned machine learning model according to an embodiment of the present disclosure.

도 10을 참조하면, 서비스 제공 장치(100)는 사용자 단말(200)에 의해 서비스 제공 플랫폼 상에 소셜 네트워크 서비스(SNS)가 연동되고, 그 연동된 소셜 네트워크 서비스(SNS)에 대화 데이터가 입력되면, 그 입력된 대화 데이터를 획득하여 머신러닝 모델에 입력함으로써 언어 패턴에 대한 분석을 수행(실시)할 수 있다. Referring to FIG. 10 , in the service providing device 100, when a social network service (SNS) is interlocked on a service providing platform by a user terminal 200 and conversation data is input to the interlocked social network service (SNS), , Analysis of language patterns can be performed (executed) by obtaining the input conversation data and inputting the data to a machine learning model.

서비스 제공 장치(100)는 상기 분석 결과에 대한 유효성에 대한 피드백 데이터를 수집 및 반영하여 데이터 셋을 생성할 수 있다. The service providing apparatus 100 may create a data set by collecting and reflecting feedback data about the validity of the analysis result.

서비스 제공 장치(100)는, 상기 생성된 데이터 셋을 이용하여 기 학습된 머신러닝 모델에 대한 학습을 수행함으로써 기 학습된 머신러닝 모델을 구축한다. The service providing apparatus 100 builds a pre-learned machine learning model by performing learning on the pre-learned machine learning model using the generated data set.

또한, 서비스 제공 장치(100)는 상술한 절차를 반복하여 수행하도록 제어하여 기 학습된 머신러닝 모델의 성능을 향상시킬 수 있다.In addition, the service providing apparatus 100 may improve the performance of the pre-learned machine learning model by controlling the above-described procedure to be repeatedly performed.

이상 상술한 바와 같이, 본 개시의 실시예에 따르면, 감정이 아닌 언어 습관에 주목하여 언어 패턴을 분석을 통한 의도나 맥락을 분석할 수 있어, 개인에게 감성 커뮤니케이션 제안을 통한 즐겁고 편안한 대화 경험을 제공할 수 있고, 기업이나 전문가에게는 커뮤니케이션 관리를 통한 리스크 감소와 고객 신뢰 확보에 대한 기대를 제공할 수 있다.As described above, according to an embodiment of the present disclosure, it is possible to analyze intention or context through analysis of language patterns by paying attention to language habits rather than emotions, thereby providing a pleasant and comfortable conversation experience through emotional communication suggestions to individuals. It can provide companies and experts with expectations for risk reduction and customer trust through communication management.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The aforementioned program is C, C++, JAVA, machine language, etc. It may include a code coded in a computer language of. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer. In addition, the medium may be distributed to computer systems connected through a network, and computer readable codes may be stored in a distributed manner.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present disclosure may be implemented directly in hardware, implemented in a software module executed by hardware, or a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which this disclosure pertains.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, the embodiments of the present disclosure have been described with reference to the accompanying drawings, but those skilled in the art to which the present disclosure pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present disclosure. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10 : 커뮤니케이션 서비스 제공 시스템 100: 서비스 제공 장치
200: 사용자 단말 110: 통신모듈
130: 저장모듈 150: 제어모듈10: communication service providing system 100: service providing device
200: user terminal 110: communication module
130: storage module 150: control module