트랜스크립트와 미팅 요약에 대한 제품별 성능 비교

AI는 고객의 기대치를 충족하기 위해 지속적으로 발전을 거듭합니다. 예를 들면, 자막 (Transcription)은 청각 장애인을 위한 자막 방송을 넘어 국가 간 언어 장벽을 허물었습니다. AI는 특정 언어를 자막으로 표기하고 듣는 사람이 원하는 언어로 변경합니다. Zoom AI Companion도 스마트 레코딩, 실시간 자막 및 실시간 자막 번역 등의 기능을 지속적으로 발전시켰습니다.

얼마 전 TestDevLab은 줌 AI 컴패니언 2.0 (Zoom AI Companion 2.0)과 마이크로소프트 팀즈 프리미엄 (Microsoft Teams Premium) 및 마이크로소프트 코파일럿 (Microsfot Co-pilot), 시스코 웹엑스 (Cisco Webex) 기능을 테스트하였습니다. 특히, 트랜스크립트, 미팅 요약, 할 일 목록, 회의 중 질문하기 등의 AI 기능은 고품질 음성 인식 기능을 기반으로 합니다. AI는 고품질 음성 인식을 바탕으로 이름, 주제, 의도 등을 파악하고 요약 및 하잇라이트 등을 수행할 수 있습니다.

트랜스크립션 (Transcription)의 정확도를 파악하는 업계 표준은 WER (Word Error Rate) 입니다. WER은 인간이 생성한 트랜스크립션과 AI가 생성한 트랜스크립션의 차이를 비교하여 비율로 표시합니다. 아래 사진에서 붉은 단어는 오류를 나타내고, 파란 단어는 원본에서 볼 수 없는 단어입니다. WER은 매우 정확한 분석 방식입니다.

아래 사진에서 붉은 단어는 오류를 나타내고, 파란 단어는 원본에서 볼 수 없는 단어입니다.

테스트 방식

실제 테스트는 다음과 같은 방식으로 진행하였습니다.

2명에서 16명까지 참가자들이 있는 3개의 회의를 녹음
3개 파일은 개별 컴퓨터에서 재생
일관성을 위해 각 테스트는 각 플랫폼에서 5번 반복
테스트마다 Zoom 과 Microsoft Teams를 비교

트랜스크립션 결과

WER은 백분율이 낮을수록 품질이 높습니다. Zoom은 7.40%이고, Microsoft Teams는 11.54%입니다. Zoom이 Microsoft Teams에 비해 매우 좋은 트랜스크립트 품질을 보여줍니다.

전반적으로 3개 회사의 거대 언어 모델 (LLM, Large Language Model)은 거의 비슷한 정확성을 기록했습니다. 대부분의 오류는 단어 누락 및 사소한 단어 오류였습니다. 작은 트랜스크립트 오류가 요약 및 할 일 목록 등과 같은 AI 작업에 큰 영향을 미칩니다.

전체 결과

TestDevLab은 트랜스크립션을 기반으로 하는 회의 요약 품질 및 대화형 AI 등의 기능도 평가하였고, 아래와 같은 결과를 얻었습니다. 마이크로소프트 팀즈의 요약 기능은 마이크로소프트 팀즈 프리미엄 (Microsoft Teams Premium)의 인텔리전트 리캡 (Intelligent Recap)과 마이크로소프트 코파일럿 (Microsoft Copilot) AI Assistant의 프롬프트 기반 요약 생성 기능입니다. 코파일럿의 프롬프트 기반 요약 생성 및 할 일 목록을 요청하였습니다.

답변 안정성 결과

대화형 AI에게 질문할 경우 회의 상황과 관련된 질문과 웹 검색에 대한 질문에 어떻게 대답했는 지를 측정하였습니다. 응답 시간 뿐만 아니라 모든 참가자가 유사한 답변을 받을 수 있는 지를 테스트하였습니다. 결과는 Zoom AI가 Microsoft Teams에 비해 압도적으로 좋은 결과를 나타냈습니다.