faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

( T5 P* K! C3 [5 c' p
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
% f5 @! x: R5 w7 j. N' ]. Z效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
9 p/ f+ k) N3 l0 o+ b----------------------------------------
) F1 @. A# Z3 n5 ^显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
----------------------------------------
https://github.com/guillaumekln/faster-whisper
安装如下：
1, Windows 10
1 r) q) f$ }4 I! |) e9 I& j2 t2, Python 3.10.11
3, CUDA 12.1
4, 在python 3 中安装
# ~- V& z, G6 }* E( @pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
" |& c/ x& d) x  n这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
4 D: `3 s" J+ u5，pip install -U openai-whisper
0 G( \( o% ^( a这是向whisper 致敬，可以不装
6，pip install faster-whisper
0 Q* L; y( \1 ]. L1 q----------------------------------------
' G7 @9 m4 _; owhisper 我用的命令行，faster-whisper 我用的是python。
4 C5 @$ M# ^: r0 z! F) c; m: H下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
- B/ U% B3 I) e# ^
8 y1 X0 n6 q7 ~8 g----------------------------------------

7 p! A: q0 I7 G; W6 V+ P1 y1 ~, K+ _# Cfrom faster_whisper import WhisperModel

model_size = "small"

0 u' r6 A  L1 [: x4 B  xmodel = WhisperModel(model_size, device="cuda", compute_type="int8")
5 S' u6 d8 {- a- n7 d8 a
segments, info = model.transcribe(
    sourceFileName,
    beam_size=5,
    language="en",
5 x% i. z! k& |/ r# j* ^6 w& ]    task="transcribe",
0 o: p: T8 h6 h+ i/ }6 t& d3 w    word_timestamps=True,
4 \$ ]7 N' w. f  ~  R$ I    initial_prompt = "Hello, welcome to my lecture.")

) F/ C$ U6 g6 P+ P: Lfor segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
- q( S" C$ Y" P+ J
0 n; ~6 f/ \0 S- U. _' M6 W        for word in segment.words:
0 L* e! F8 I' w4 n: u$ P  s               
6 l+ j2 U2 h/ y3 v" G2 S----------------------------------------

代码说明：
7 }, ]7 T6 F1 x4 T1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
$ ]* w* V! c3 g2 Q4 H7 i# ]但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
& T9 p* Y; {8 j- F8 W2，segment 本身是很粗糙的，做字幕勉强能用。
. Z$ j/ F8 K# z9 W2 u2 i3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
/ x$ q0 \/ N/ |1 T/ n7 M0 y4 c比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
5，model.transcribe 中参数说明：
# h" |- k* v) \* X6 T7 Q你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
/ Q6 S# _9 o9 U5 b: L& q9 j其中
2 f% b/ I+ m! v# N$ n& y& Z$ r    word_timestamps=True,
& {* C9 d: C' M% @* w. \保证了你能拿到 word，否则是拿不到的
( \% J2 ~; `  F( E1 e    initial_prompt = "Hello, welcome to my lecture.")
( P" U8 n0 g: \# K保证能尽可能准确的断句 punctuation，但是不是决定性的。
( Z# X! H* ]+ V; B. [其他参数可参考源文件：
https://github.com/guillaumekln/ ... isper/transcribe.py
. H% T( }8 v- m2 c$ q% `, h152 def transcribe(
+ \9 Y, O( }2 L. c  V2 }8 T8 s从源文件你可以看到是支持中文的句号断句的。

6 _4 a' S7 e6 t5 A6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
# M- @6 V/ l3 g" k# P  J% d6 c, z8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
3 U8 I1 b( b) J$ a/ q# h* l
8 c9 {6 t: U8 S; `& l' c4 s, T

nanimarcus

多谢各位榜爷打赏。