STT-Lab

STT 인식율 개선을 실험하는 레포지토리

디렉토리 구조

audio_enhancer

오디오 전처리 디렉토리

📦audio_enhancer
 ┣ 📜audio_enhancer.py \\ 이퀄라이징과 소음제거 처리 파일
 ┣ 📜audio_processing.py  \\ 모든 오디오 전처리 과정을 통합한 파일
 ┣ 📜deep_filter_noise_remove.py \\ deepfilternet 으로 소음 제거를 하는 파일
 ┣ 📜equalizer.py  \\ 이퀄라이징만 적용하는 파일
 ┣ 📜noise_remove.py  \\ pydub으로 소음 제거를 하는 파일
 ┣ 📜normalizer.py  \\ 오디오 정규화를 하는 파일
 ┣ 📜trch.py  \\ 이퀄라이징 초기버
 ┗ 📜vad.py  \\ 음성의 시작과 끝을 감지하고 음성부분만 잘라주는 파일

nlp

형태소 분석

##stt stt 관련 파일 디렉토리

📦stt
 ┣ 📜cer_nlptutti.py \\cer 측정 (정확도 측정) ref.txt 와 stt.txt를 비교
 ┣ 📜ref.txt  \\ 정확도 비교할 원본 대사
 ┣ 📜returnzero.py  \\ 리턴제로에 stt 요청하는 파일
 ┗ 📜stt.txt  \\ 리턴제로 stt 결과

voice_file

음성파일

---

stt 실험 기록

설명

• 환경: 테스트 환경 (조용, 노래, 잡담 등)
• 마이크: 맥북, 윈도우, 줄마이크, 옹알거리기, 브라우저 마이크 잡음 제거 끄기
• STT 결과: returnzero 사용
• CER: nlptutti 라이브러리 사용

Reference

안녕하세요, 여러분. 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리쬐고, 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나, 공원에서 시간을 보내는 것이 좋을 것 같습니다.

STT 결과 및 CER

환경	STT 결과	CER
조용_맥북_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 뇌이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0}
노래_맥북_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0}
잡담_맥북_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0}

---

환경	STT 결과	CER
조용_열악한_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리채고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0}
노래_열악한_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 핫뜻이 따뜻하게 냄쬐고 바람이 시원하게 벌고 있습니다. 이런 날씨에는 산책을 나가거나 공원해서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.08, 'substitutions': 5, 'deletions': 1, 'insertions': 0}
잡담_열악한_마이크	그 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리채고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.02631578947368421, 'substitutions': 1, 'deletions': 0, 'insertions': 1}

---

환경	STT 결과	CER
조용_줄_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0}
노래_줄_마이크	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책에 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0}
잡담_줄_마이크	오늘 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.05194805194805195, 'substitutions': 2, 'deletions': 0, 'insertions': 2}

---

환경	STT 결과	CER
조용_웅얼거림	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내비떼고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0}
노래_웅얼거림	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.0, 'substitutions': 0, 'deletions': 0, 'insertions': 0}
잡담_웅얼거림	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0}

---

환경	STT 결과	CER
조용_줄_마이크_생	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0}
노래_줄_마이크_생	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리떼고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0}
잡담_줄_마이크_생	안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나다보나 공원에서 시간을 보내는 것이 좋을 것 같습니다.	{'cer': 0.05333333333333334, 'substitutions': 4, 'deletions': 0, 'insertions': 0}