faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

% j: a& a) j3 @& D, o0 ^  ]
% w* ?0 f7 }7 E+ y借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
----------------------------------------
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
# B) F9 l8 }% @( b4 O: p) X在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
----------------------------------------
https://github.com/guillaumekln/faster-whisper
, o) r' u; L6 o  ?$ R7 T安装如下：
$ y# `0 `# s7 N/ q" x: S- ^1 e1, Windows 10
2, Python 3.10.11
/ Z- A& w, [1 F, @7 \3, CUDA 12.1
4, 在python 3 中安装
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
0 C" J. B# _% a/ t这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
6 c' Y7 ~# V& U4 s& e" u5，pip install -U openai-whisper
8 x$ e" w; k( }2 w" `# z这是向whisper 致敬，可以不装
/ i0 B, g! N1 P6，pip install faster-whisper
9 Q0 ?# V1 G% m* G% r----------------------------------------
whisper 我用的命令行，faster-whisper 我用的是python。
! c  m# R+ i/ H6 W) g下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
. j0 w, C; O1 \& H) P
----------------------------------------
! L* n8 f5 P: V) f
4 b7 U7 S* {- F  Efrom faster_whisper import WhisperModel
$ D7 D( n2 R! I1 N
model_size = "small"

6 V7 ~- L6 [! f* r( I+ ]# [model = WhisperModel(model_size, device="cuda", compute_type="int8")
3 Z9 R8 x% [# a0 s5 y; y6 E1 n
segments, info = model.transcribe(
    sourceFileName,
7 o  J) ]2 J% f% Z" U0 E( J9 Z. q% C    beam_size=5,
  B# |- l) N' P( _( B. [5 f    language="en",
" s( Z, p/ f& H9 S    task="transcribe",
    word_timestamps=True,
; s1 F/ C3 P) \5 P    initial_prompt = "Hello, welcome to my lecture.")

for segment in segments:
& q7 |& R4 g) L. c    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

        for word in segment.words:
               
( v) p& [! m( }* y0 b, h----------------------------------------
4 r$ {! O2 i" m& }9 G% P% v; O8 l
6 V: P1 q4 J: _4 w5 f9 o; |代码说明：
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
9 a0 n' A$ y3 F4 Y8 r# a但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
% g2 a. J4 G8 c  n' u2，segment 本身是很粗糙的，做字幕勉强能用。
$ ~8 B1 e7 L9 y  A) T  Q: R3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
% N: C$ x8 c5 Z4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
/ ^# P5 q2 _, O/ Z' I: O4 B1 T4 G比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
5，model.transcribe 中参数说明：
1 v$ B" n( S# p' [你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
: o' M, f- h1 N/ [  z9 F其中
    word_timestamps=True,
5 X! H; X5 p4 f1 q保证了你能拿到 word，否则是拿不到的
    initial_prompt = "Hello, welcome to my lecture.")
保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
/ t8 {3 ^& S, l; k3 e' u" r) z$ shttps://github.com/guillaumekln/ ... isper/transcribe.py
. e% I% q2 V; v- |152 def transcribe(
从源文件你可以看到是支持中文的句号断句的。

8 F# I& y8 f; j; n2 e6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。

6 y+ @; O- _2 o9 d2 a& \: j
3 `' P, B2 o3 C; _, n) Z/ h
! t3 M0 O9 ~( j, Z) H$ N

nanimarcus

多谢各位榜爷打赏。