Grammarly의 Under the Hood: AI로 작문 스타일의 변화

당신이 편지를 쓰는 사람에게 좋은 인상을 심어야 할 때, 당신이 말해야 할 유일한 것은 생각할 필요가 없습니다. 당신이 그것을 말하는 방법은 종종 그것만큼 중요합니다. 적절한 수준의 형식을 선택하는 것은 특히 어려울 수 있습니다. 이는 상황에 따라 크게 달라지며 수신자가 귀하의 어조를 어떻게 해석할지 추측해야 하는 경우가 많습니다.

당신이 커버 레터를 쓰고 있다고 상상해보십시오. 당신의 글이 너무 캐주얼하거나 때로는 더 나쁘게는 너무 형식적일 때를 감지할 수 있는 도구가 있다면 게임 체인저가 얼마나 될까요? 갑자기 당신이 말하려는 것을 어떻게 말해야 할지에 대한 당신의 결정이 훨씬 덜 흐릿해집니다. 받는 사람이 메시지를 어떻게 인식할지에 대한 추측에만 의존하는 것이 아니라 개인적으로 가지고 있지 않은 많은 데이터를 사용하는 알고리즘이 있습니다. 한 단계 더 나아가 이 도구가 문제가 있을 때 알려줄 뿐만 아니라 실제로 받는 사람이 더 좋아할 대체 문구를 제공할 수 있다면 어떨까요?

컴퓨터가 한 스타일에서 다른 스타일로 글을 자동으로 변환하게 하는 프로세스를 스타일 전송이라고 하며, 이는 내가 동료 Sudha Rao와 함께 쓴 다음 논문의 주제입니다. 이것은 올바른 방식으로 의사소통하는 것이 얼마나 중요한지 알기 때문에 Grammarly에서 우리에게 특히 흥미로운 영역입니다.

Grammarly의 연구원들이 여러분에게 글쓰기 제안을 제공하는 시스템을 어떻게 구축하는지 궁금하다면 계속 읽어보세요.

형식에 대한 비공식적 배경

알고리즘에 대해 자세히 알아보기 전에 비공식 언어와 공식 언어의 예를 살펴보겠습니다.

비공식: 이야기의 양면을 봐야 합니다

형식: 이야기의 양면을 봐야 합니다.

이 문장들 사이에는 몇 가지 분명한 차이점이 있습니다. 속어("Gotta")를 사용하고 첫 번째 문장 끝에 구두점이 없다는 것은 비공식적임을 나타냅니다. 이런 종류의 문장에는 시간과 장소가 있습니다. 예를 들어 친구 간의 문자 메시지 교환입니다.

우리가 인간이 비공식적인 문장을 보다 형식적인 스타일로 다시 쓰는 방법을 보았을 때, 인간이 가장 자주 변경한 사항은 대문자, 구두점 및 구어체입니다. 우리는 또한 인간이 때때로 형식을 개선하기 위해 문장을 더 과감하게 다시 작성해야 한다는 것도 알아냈습니다.

비공식: 언제 회의에 오나요?

형식: 회의에 언제 참석하는지 알려주십시오.

하지만 컴퓨터가 위와 같은 편집을 하도록 어떻게 가르칠까요? 문제에 접근하는 방법에는 여러 가지가 있습니다.

우리가 사용하는 것은 쓰기 스타일 사이를 번역하도록 컴퓨터를 가르치는 것이 언어 번역을 가르치는 것과 유사하다는 것을 인정합니다. 이 접근 방식을 기계 번역이라고 하며, 컴퓨터가 자동으로 한 언어(예: 프랑스어)에서 다른 언어(독일어)로 번역합니다. 따라서 스타일 전송 문제를 다룰 때 번역 모델 또는 우리의 경우 여러 모델로 시작하는 것이 합리적입니다.

번역 모델이란?

AI의 최근 혁신 중 하나는 기계 번역 모델을 구축하기 위해 딥 러닝 또는 신경망 기술을 사용하는 것입니다.

신경 기계 번역(NMT) 모델은 문장의 기본 의미 표현을 학습할 수 있습니다. 이는 모델이 복잡한 문장 패턴을 학습하여 번역이 유창하고 그 의미가 원래 문장에 충실하도록 돕습니다.

규칙 기반 또는 구문 기반 모델(PBMT)과 같은 기계 번역에 대한 이전 접근 방식은 문장을 단어나 구문과 같은 더 작은 단위로 나누고 독립적으로 번역합니다. 이는 번역에서 문법적 오류나 의미 없는 결과를 초래할 수 있습니다. 그러나 이러한 모델은 조정하기 쉽고 보수적인 경향이 있어 이점이 될 수 있습니다. 예를 들어, 속어를 표준 단어로 바꾸는 규칙을 쉽게 통합할 수 있습니다.

우리는 스타일 전송에 가장 적합한 기계 번역에 대한 여러 접근 방식을 살펴보았습니다.

모델 구축

NMT와 PBMT는 과제로 가득 차 있으며, 그 중 가장 중요한 것은 모델을 훈련하는 데 사용할 좋은 데이터 세트를 찾는 것입니다. 이 경우 수십만 개의 비공식 및 공식 문장 쌍의 데이터 세트가 필요할 것으로 추정했습니다. 이상적으로는 수백만 개의 문장 쌍으로 모델을 훈련하지만 스타일 전송은 자연어 처리 분야에서 상당히 새로운 영역이기 때문에 실제로 사용할 수 있는 기존 데이터 세트가 없었습니다. 그래서 우리는 하나를 만들었습니다.

우리는 비격식적인 문장을 수집하는 것으로 시작했습니다. 우리는 야후!에 공개적으로 게시된 질문과 답변에서 문장을 얻었습니다. 대답. 우리는 이 세트에서 10만 개 이상의 비공식적인 문장을 자동으로 선택하고 팀이 사전 정의된 기준을 사용하여 공식 언어로 각 문장을 다시 작성하게 했습니다. (이 프로세스에 대한 자세한 내용은 당사 문서를 확인하십시오.)

데이터 세트가 있으면 모델 학습을 시작할 수 있습니다. 모델을 훈련시킨다는 것은 많은 "대상" 문장과 함께 많은 "소스" 문장(우리의 경우 비공식 문장)을 제공하는 것을 의미합니다. 이것이 우리에게 공식적인 재작성입니다. 그런 다음 모델의 알고리즘은 소스에서 대상으로 이동하는 방법을 파악하기 위해 패턴을 찾습니다. 데이터가 많을수록 더 잘 학습합니다.

우리의 경우 모델에는 10만 개의 비공식 소스 문장과 학습할 공식 재작성이 있습니다. 또한 NMT 및 PBMT 모델이 성능을 발휘하려면 더 많은 데이터가 필요하기 때문에 훈련 데이터 세트의 크기를 늘리기 위해 인공적인 형식 데이터를 생성하는 다양한 방법을 실험했습니다.

그러나 모델이 작업을 얼마나 잘 수행하고 있는지 평가할 방법도 필요합니다. 문장의 의미가 바뀌었나요? 새 문장이 문법적으로 맞습니까? 실제로는 더 형식적입니까? 문장의 어조와 작문 스타일을 자동으로 평가할 수 있는 프로그램인 분류기가 있으며 우리는 학계에서 가장 일반적으로 사용되는 몇 가지를 테스트했습니다. 그러나 그들 중 어느 것도 매우 정확하지 않습니다. 그래서 우리는 인간이 우리가 테스트한 다양한 모델의 출력을 비교하고 형식, 정확성 및 유창성을 기준으로 순위를 매기게 했습니다.

우리는 우리 팀에게 원래의 비공식적인 문장, 여러 다른 모델의 출력 및 사람이 다시 작성하는 것을 보여주었습니다. 우리는 그들에게 각 문장을 누가 또는 무엇을 생성했는지 말하지 않았습니다. 그런 다음 다시 쓰기 순위를 지정하여 동점을 허용했습니다. 이상적으로 가장 좋은 모델은 사람이 다시 작성하는 것과 같거나 그보다 더 낫습니다. 전체적으로 팀은 500개의 비공식 문장을 다시 작성했습니다.

우리가 찾은 것

우리는 모두 수십 개의 모델을 테스트했지만 규칙 기반, 구문 기반(PBMT), 신경망 기반(NMT) 및 다양한 접근 방식을 결합한 몇 가지와 같은 상위 모델에 중점을 둘 것입니다.

인적 재작성은 전반적으로 가장 높은 점수를 받았지만 PBMT 및 NMT 모델은 그다지 뒤지지 않았습니다. 실제로 인간이 인간보다 모델 출력을 선호하는 경우가 여러 번 있었습니다. 이 두 모델은 더 광범위하게 다시 작성했지만 원래 문장의 의미를 변경하는 경향이 있었습니다.

반면에 규칙 기반 모델은 더 작은 변경 사항을 적용했습니다. 이것은 그들이 의미를 더 잘 보존한다는 것을 의미했지만 그들이 생산한 문장은 덜 형식적이었습니다. 모든 모델은 긴 문장보다 짧은 문장을 더 쉽게 처리할 수 있었습니다.

다음은 인간 및 모델 재작성된 비공식 문장의 예입니다. 이 특별한 경우에 형식, 의미 및 자연스러운 표현 사이에서 최상의 균형을 이룬 것은 마지막 모델(PBMT로 번역된 NMT)이었습니다.

원래 비공식: 나는 학교에서 그를 거의 본 적이 없고 보통 나는 형제 농구 경기에서 그를 봅니다.

휴먼 rewrite: 학교에서 그를 거의 본 적이 없습니다. 나는 보통 그가 농구를 하는 형제들과 함께 그를 본다.

규칙 기반 모델: 나는 학교에서 그를 거의 본 적이 없으며 보통 나는 형제 농구 경기에서 그를 봅니다.

PBMT 모델: 학교에서도 그를 거의 볼 수 없지만 내 형제들은 농구 경기를 합니다.

NMT 모델: 학교에서 그를 거의 볼 수 없습니다. 형의 농구 경기에서도 그를 볼 수 있습니다.

NMT(추가적인 PBMT 생성 데이터에 대해 훈련): 학교에서 그를 거의 본 적이 없으며 보통 형제 농구 경기에서 그를 봅니다.

스타일 전송은 광범위한 적용 가능성이 있는 자연어 처리의 흥미롭고 새로운 영역입니다. 내가 처음에 가정했던 그 도구, 즉 당신이 말해야 할 것을 말하는 방법을 알아내는 데 도움이 되는 도구는 무엇입니까? 아직 해야 할 일이 많지만 그 도구는 가능하며 구직자, 언어 학습자 및 글을 통해 누군가에게 좋은 인상을 주고 싶은 모든 사람에게 매우 유용할 것입니다. 우리는 데이터를 공개함으로써 우리와 현장의 다른 사람들이 서로를 벤치마킹하고 이 연구 영역을 앞으로 나아갈 수 있기를 바랍니다.

Grammarly의 경우 이 작업은 메시지를 의도한 대로 이해하는 데 도움이 되는 포괄적인 커뮤니케이션 도우미를 만드는 우리의 비전을 향한 또 다른 단계입니다.

Joel Tetreault는 Grammarly의 연구 이사입니다. Sudha Rao는 메릴랜드 대학교의 박사 과정 학생이며 Grammarly에서 연구 인턴이었습니다. Joel과 Sudha는 2018년 6월 1-6일 뉴올리언스에서 열리는 컴퓨터 언어학 협회 북미 지부의 16차 연례 회의에서 이 연구를 발표할 예정입니다. , GYAFC 데이터 세트를 소개할 수 있습니다: 형식 스타일 이전을 위한 코퍼스, 벤치마크 및 메트릭"은 NAACL 회보에 게시됩니다.