faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

+ q  b3 I8 f0 m  W9 D% F& w& D
) o$ a' }* y: h: R借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
----------------------------------------
5 O' w1 H: }. \8 s5 i显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
- i% y/ z8 t2 ^. `0 d在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
----------------------------------------
* q7 W4 J6 P* ]; l5 `https://github.com/guillaumekln/faster-whisper
: ]: V2 r! \3 {6 C# J) F安装如下：
1, Windows 10
" G+ l- F" E. I7 q# U- {# T2, Python 3.10.11
' z0 e5 t. E2 |$ x9 q3, CUDA 12.1
  e) _* V- G+ F' d+ o) z6 f5 f9 \) k0 A$ E4, 在python 3 中安装
, I" O; A! u8 u: [pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
: a" Y! e' @: v: p2 w3 c这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
5，pip install -U openai-whisper
* k; R  I( G, F0 V, u0 {这是向whisper 致敬，可以不装
. [9 V! J- _3 F" O4 e8 h+ F: n6，pip install faster-whisper
----------------------------------------
; _* ~4 I% ~/ t% hwhisper 我用的命令行，faster-whisper 我用的是python。
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
# C2 [1 q0 G0 X" }
----------------------------------------
3 R4 C  I) r( y4 U( E$ a
2 U( q, s5 F# n2 O; ~from faster_whisper import WhisperModel
, j% N7 d: I+ v$ i
model_size = "small"
2 Q3 c+ `& ^* Y4 c$ }
model = WhisperModel(model_size, device="cuda", compute_type="int8")

segments, info = model.transcribe(
* m/ F! D3 p8 B& w; O7 p4 g; y    sourceFileName,
- d6 M2 l& I" ^, J5 ^2 j) Y    beam_size=5,
; ]* u5 S- p+ R; L1 {* P    language="en",
    task="transcribe",
    word_timestamps=True,
) O% W: a7 `8 `1 w2 l) z    initial_prompt = "Hello, welcome to my lecture.")
" R' F& e- U9 S
for segment in segments:
7 K# o! d/ L* b; ~    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
4 ?: m# P% k$ P: c) R- \1 y, i
& s) r: F$ Z; R5 J7 p" t        for word in segment.words:
* |2 u: j% P9 ^- A; h1 q               
9 x  M6 v0 |: r( }' l, L- S----------------------------------------
. z- d, Y. f, {5 t7 n
/ n6 w" H6 w9 G代码说明：
; [, J, {% k# t, B1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
6 U. l' |; C( e# h, }7 j但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
+ D; r. R* s6 s  V8 B4 @2，segment 本身是很粗糙的，做字幕勉强能用。
% }6 {: J3 B0 H3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
* W2 T6 N2 p- C1 n0 F5，model.transcribe 中参数说明：
- X, L6 M& V+ g; E3 Z+ M2 W+ p你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
其中
    word_timestamps=True,
保证了你能拿到 word，否则是拿不到的
* Q7 ^$ F4 d2 @$ }6 M% t8 C/ X3 Q    initial_prompt = "Hello, welcome to my lecture.")
3 _0 Z6 \8 M* T7 K) X# k: M保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
https://github.com/guillaumekln/ ... isper/transcribe.py
152 def transcribe(
从源文件你可以看到是支持中文的句号断句的。
9 l$ ^: i# y6 M' w
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
* }( Y0 k: v, p4 L- K* e& G6 G8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
( ~: i- ]4 O- h* Y/ g

. o2 l7 q2 l! _2 G: ~
- _' e; J4 c5 t5 R% D( X

nanimarcus

多谢各位榜爷打赏。