爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
/ u% x! t8 v' o/ q
3 O. I, r7 C5 U: `% u# e
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
9 R0 }$ b8 V+ I( z/ y' g! m2 R! O
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
% c F4 r- g* I* N" e
----------------------------------------
$ ^, `: ~5 t8 ?1 e" K
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
5 _" r2 M& y- G6 @
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
7 J3 F% O& u" \3 j' C3 U
----------------------------------------
; F$ y+ E) F( |+ h# l$ Z0 @2 x
https://github.com/guillaumekln/faster-whisper
. F% T, r6 p* K& n
安装如下：
* }" H' J; c9 L
1, Windows 10
7 F9 c I7 X4 \9 \: w
2, Python 3.10.11
1 O8 I( s8 r% d% M2 e
3, CUDA 12.1
3 e# L$ E* o$ B* g% F! i( }" G
4, 在python 3 中安装
. J+ {7 g3 O2 |, ^; }
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
8 }, s, ~. D5 _9 R6 ] g
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
: g8 U1 b4 r6 \
5，pip install -U openai-whisper
3 ]1 C; B& q$ b
这是向whisper 致敬，可以不装
+ `/ |1 m$ h$ t% J
6，pip install faster-whisper
8 k' R" W, p8 I
----------------------------------------
8 x1 j I# U" h5 ]: v
whisper 我用的命令行，faster-whisper 我用的是python。
3 `( n4 n8 r* e2 X, U B
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
7 V# ]: g2 a" v/ t1 R" ^+ c7 d
3 K, ^. d Y8 B4 x, B+ c1 x
----------------------------------------
- O# M$ i i* E% `' D% J
* x* E* _& Y+ b( c4 o
from faster_whisper import WhisperModel
; t4 ~! F/ V I9 M; z8 P1 C. w
6 c0 J8 j$ @0 O) f2 O; a
model_size = "small"
: R4 A" l- o4 Y7 m" `+ {6 ~% N
: g# i* C, R, q# [( w
model = WhisperModel(model_size, device="cuda", compute_type="int8")
6 Z& w% P l* x3 l7 \2 o
2 P- d6 N( k, R8 {; ^2 X
segments, info = model.transcribe(
' z4 b3 k; V, i2 S
sourceFileName,
% ^$ d8 n4 J1 a9 e. g
beam_size=5,
1 p) c5 Q" S& g2 P
language="en",
: Q* F/ v+ t; \* L! c
task="transcribe",
; D, k. s" ?. a
word_timestamps=True,
; x6 B% q, E0 _% v7 ^
initial_prompt = "Hello, welcome to my lecture.")
$ J7 C) z0 y5 f( L# \1 C! M L' p
1 U0 x) |- y- e4 J/ o
for segment in segments:
3 J; ?& p' n& L* ^# p$ ] \1 L% p
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
* z `* l1 n+ t3 E7 p& u0 T0 N) S
3 _7 h$ W, P; Q" c
for word in segment.words:
- ?( ?. i- [* a
$ M$ i& s W. d% v. C- S& x* ~* x! t
----------------------------------------
0 N( I: b5 W. v: \7 c
5 ?, \/ n& R- d- h9 p5 Q+ g
代码说明：
- w! y7 e1 B0 Y& {
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
- k: j- l/ X4 c4 s! I8 D* _
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
7 w5 n% h9 i N, v ?8 ^
2，segment 本身是很粗糙的，做字幕勉强能用。
! H# G8 S; T- N5 N
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
& z/ }+ |( y+ t0 K; T- E: ^, n* B
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
4 V0 i! A' h) s* J8 C1 e, v6 E
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
4 o7 R9 c6 } U, g, ~* |7 o" o+ A
5，model.transcribe 中参数说明：
( y: G' e. {2 E0 G
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
6 @+ s1 |/ M/ ]; \# P* X' U* ]8 u
其中
9 Z9 \+ W# Q7 ^( p7 h
word_timestamps=True,
$ b& ? F$ _4 O* Z; S
保证了你能拿到 word，否则是拿不到的
" \. E8 k, V6 ~. F, L
initial_prompt = "Hello, welcome to my lecture.")
l( v% H/ Y% e( t: v$ c: N C
保证能尽可能准确的断句 punctuation，但是不是决定性的。
) j1 P9 K2 e4 H3 v$ Q0 ~0 N: f
其他参数可参考源文件：
6 u' q3 r" L7 @# N, w. p$ O: B2 y o
https://github.com/guillaumekln/ ... isper/transcribe.py
9 Y6 H( X) }7 [) K" L
152 def transcribe(
1 ^+ ?0 K, j% I. X
从源文件你可以看到是支持中文的句号断句的。
+ b+ V x$ _# Q& X& t7 m3 A
7 c2 D0 r8 P6 A: b
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
" ` `3 a" X/ F
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
& @1 F* C. j9 S, }. o8 {7 _
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
: M0 {1 x1 @, N9 V5 I. V. w3 Z
6 P9 M1 w/ G& ]5 ~0 k+ H
7 _' m! C# l6 R L5 ~
# L( {" q9 D( y0 k
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://www.aswetalk.net/bbs/)
Powered by Discuz! X3.2