爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
- Y& i; M+ F# Y8 A2 \
; y8 B j, X3 \. R' j& r
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
1 P9 T" u7 l |8 s8 ]% Y
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
: C0 Z0 a# r" I) c1 i
----------------------------------------
+ f3 o) j* v% Y5 O" |, b
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
) R( |! ~' v* _* J9 g$ x
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
' R' t, S1 F. i2 A. h
----------------------------------------
% C, ^0 V! f% f% x' c6 Q
https://github.com/guillaumekln/faster-whisper
1 m5 A- d6 \5 m+ N: g
安装如下：
. d, v6 S2 m2 @1 l8 A
1, Windows 10
1 R# p7 p( r+ U
2, Python 3.10.11
3 n# d! q' e# S" t$ ~
3, CUDA 12.1
]4 x/ l; O- ^* Q6 J U: x
4, 在python 3 中安装
6 c' s; d R P, | j- O. e: C
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
" |5 G: |) Y: U G
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
3 ~: l( i7 K+ z
5，pip install -U openai-whisper
, C5 Z% S( P; T6 t, |- ?2 M
这是向whisper 致敬，可以不装
3 Z' ]" Y" ]/ ?9 X5 ^7 \
6，pip install faster-whisper
9 d. `8 R8 o& J
----------------------------------------
- P( x: n. R: m4 ?8 @ u4 J+ f
whisper 我用的命令行，faster-whisper 我用的是python。
* o5 B; W+ L9 I0 A, n/ D4 A. W
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
9 s2 r. c. ~1 {% E3 o9 `. x* e7 K
" J& K. ~3 L4 ?
----------------------------------------
5 i% E. I) s" a; S7 r8 Y: p
$ B% e4 @& l" e5 @$ i
from faster_whisper import WhisperModel
& G7 N, \2 m' x/ n& H& z
0 H# m! V* g8 e' n0 D/ z& r
model_size = "small"
# ?/ f$ h9 d/ [5 k& Z+ ~8 h4 }
3 y% }$ W- Z! q: `- h
model = WhisperModel(model_size, device="cuda", compute_type="int8")
2 ~! V/ W% G# e, c- n3 c- r
7 q( j" C1 [4 _' u
segments, info = model.transcribe(
6 \ M0 M5 z; Q- ~* C% P
sourceFileName,
' _; o* Q+ X7 o& r, w6 n. L% X
beam_size=5,
- D0 F7 E% W, s2 d, K
language="en",
( N y( d1 C) K- P, v* {
task="transcribe",
. ^! A$ W4 s. D; G/ U' W
word_timestamps=True,
8 y. _$ Y) e2 s8 T
initial_prompt = "Hello, welcome to my lecture.")
4 n$ Z3 n( I2 ]* H" V$ v& y9 y
7 ~( U( K8 C, g3 o0 J
for segment in segments:
; r" U& h) B% B/ \ M! ?$ ~% n8 F# k
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
. d `" _. g# v" Q4 X
4 b# d. P+ E$ B
for word in segment.words:
- N+ X2 _! k& X: @
: ?2 O: c' l6 p, l+ B
----------------------------------------
7 |) S9 M6 O% l
7 S7 U9 ?/ p) X( m5 K
代码说明：
9 C+ v1 j0 m, b; x
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
5 `( x% @: X! ` I: w6 K; B
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
2 ` R0 Z O6 Q5 h
2，segment 本身是很粗糙的，做字幕勉强能用。
, l5 v; f7 h# K% K5 Y/ q
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
' v* K2 o( Y7 v4 X) C( k
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
# l7 z- _6 N) T& y7 E7 R
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
' }& B0 q5 v$ p/ T- C& ~6 ^! E
5，model.transcribe 中参数说明：
; f; K; {) Y) B" z% r
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
: z$ v S# _% S+ @0 _
其中
6 w- a/ e6 v: ^/ |0 P: A
word_timestamps=True,
1 V7 X, S% [: N. e$ X6 d
保证了你能拿到 word，否则是拿不到的
& P* H4 ]% q3 p
initial_prompt = "Hello, welcome to my lecture.")
! f$ i8 c4 ^2 I: O! R( A
保证能尽可能准确的断句 punctuation，但是不是决定性的。
: k+ D, G. S* t) t
其他参数可参考源文件：
3 }, V9 d3 p& R
https://github.com/guillaumekln/ ... isper/transcribe.py
" b. c. G8 b6 t' N+ b ^
152 def transcribe(
4 e3 S$ v; n+ F1 l" c
从源文件你可以看到是支持中文的句号断句的。
/ S+ I1 _6 {( N/ j% K) x
* ?& M. G3 m' N+ r" A5 ` o
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
) S" M4 s) D% Z2 ~3 ?) H6 o
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
1 o9 b% ~$ Q7 F/ L
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
& P/ C7 _+ z# p, J$ l: d' C
" ^ k& `& _/ H0 b# G# D3 \
, m" }3 o/ k3 Z5 x
- I6 V% k6 J. ^& V5 r0 @+ L
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://www.aswetalk.net/bbs/)
Powered by Discuz! X3.2