Meeting In Keyword Out
회의록 작성에 도움을 주는 다양한 서비스들이 있지만, 실시간으로 음성을 텍스트로 변환(STT)하고 키워드를 추출하여 회의 중간에 합류한 사람도 맥락을 쉽게 파악할 수 있도록 돕는 서비스는 없습니다. MIKO는 이러한 필요를 충족시키기 위해 개발된 서비스로, 실시간 STT 변환 및 키워드 추출 기능을 통해 회의 참여자들이 보다 효율적으로 회의를 진행할 수 있도록 도와줍니다.
카이스트 사관학교 정글 과정 나만의 무기에서 결성된 팀 "해내야 한다" 입니다.
개발 기간 : 2024.06.12 ~ 2024.07.20
| Name | 안태리 | 정재혁 | 남청우 | 유흥국 | 문건우 |
|---|---|---|---|---|---|
| Profile | |||||
| Position | Backend (팀장) |
Backend | Backend | Frontend | Frontend |
| Git | @T3rryAhn | @Arklimits | @malgcheong | @hkyoo988 | @GEONU-MOON |
| 구분 | 프로젝트 | 설명 |
|---|---|---|
| Backend | miko-main-server | - 미코 서비스의 메인 서버 > 클라이언트에서 음성 파일을 받아 자연어 처리 서버로 전달하는 미들웨어 역할 > 회의방 소켓 통신 및 세션 관리 > 키워드를 깊이에 따라 객체화하고 키워드를 추출하는 로직 |
| miko-nlp-server | - 미코 서비스의 자연어 처리 서버 > 음성 파일을 받아 전처리 후 리턴제로 API에 STT 요청 > 대화 기록을 바탕으로 OpenAI GPT에게 키워드 추출 및 회의록 요약 요청 후 결과를 메인 서버로 전송 |
|
| openvidu |
- 도커로 배포한 화상 통화 서버 | |
| Frontend | miko-frontend | - 미코 서비스의 프론트엔드 > vis.js를 통해 키워드를 네트워크 그래프로 시각화 |
| Etc | stt-lab | - 오디오 전처리 과정을 실험한 코드가 담긴 레포지토리 > 오디오 정규화, 다른 오디오 라이브러리 테스트, 소음 제거, 이퀄라이징, 형태소 분석기 등을 테스트함 |
| MOM | - issue에 회의록을 작성한 레포지토리 |
- Frontend: TypeScript, Next.js
- Backend: TypeScript, Nest.js, python, Flask
- Database: MongoDB
- Infrastructure/DevOps: AWS EC2, CloudWatch, Docker
- Extension: OpenVidu, Soket.io, openAi-gpt, torchAudio
회의 중 실시간으로 음성을 텍스트로 변환하여 참가자들에게 제공
회의 내용에서 중요한 키워드를 추출하고 이를 네트워크 그래프로 시각화
키워드 간의 관계를 시각적으로 표현하고, 필요에 따라 연결을 해제
비회원도 링크를 통해 회의에 쉽게 참여할 수 있도록 지원
회의 종료 후 결과 페이지에서 자동 생성된 회의록과 음성 기록을 제공
회의 종료 후에도 구글 OAuth를 통해 회의 정보를 지속적으로 제공
위의 서버들을 전부 실행하고 http:localhost:3000/ 접속한다.
