设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2322|回复: 1

[信息技术] faster-whisper 更快的语音到文字的识别 ASR

[复制链接]

该用户从未签到

 楼主| 发表于 2023-6-4 02:10:18 | 显示全部楼层 |阅读模式
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
, I% V: ]" f. m/ a' w% @4 _8 m
8 M* Y3 n6 l6 x% T$ A  H借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。
2 [7 p3 d- h1 e: W效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。
2 ~/ ?: q) _1 k" A. `" r! Z7 Z----------------------------------------& A/ t* A2 L3 I3 e- R4 e
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。
  }4 O; X( }  m1 d在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
/ [/ E4 i* f& L+ h----------------------------------------
6 A; h# L9 z  ]" Ahttps://github.com/guillaumekln/faster-whisper! ~/ O, i; v2 z: e, T  d( p  U
安装如下:1 E$ V, h! T( F
1, Windows 109 n9 j! S' y; ]: M5 G( ~# `5 y
2, Python 3.10.11
  F0 p* \' L* z$ y: Z( s# ]% ^3, CUDA 12.1
* _2 P' T$ ?7 K, ~% _8 e4 H+ z0 m2 V4, 在python 3 中安装; L$ }2 v/ I7 f9 L2 \$ D
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117$ s- g/ C* _: s& m* l
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。
. w, A- b& y0 S1 Y$ d5,pip install -U openai-whisper
, F0 W" l0 D2 V: n3 w; h/ C这是向whisper 致敬,可以不装# t5 Q7 P- b0 l+ c
6,pip install faster-whisper: [! @5 X  b( f
----------------------------------------3 z6 M9 v9 M& `
whisper 我用的命令行,faster-whisper 我用的是python。, M9 ]8 @1 A7 Q
下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:
# O9 i! V% V& u$ i+ \% i
7 j7 o' [2 F& _- M# Q; s: K----------------------------------------% P& k2 m. f- U- ^$ u
- U% Q/ I2 c- a# i; S8 {7 l, A: z
from faster_whisper import WhisperModel* \' S/ E4 o, N$ V

7 u5 ?) Q  _) {: Wmodel_size = "small"# c9 W, n  [6 F8 f7 t' @. x

  s( t. D' Z. i! Q$ x  Q' jmodel = WhisperModel(model_size, device="cuda", compute_type="int8")
2 k9 X. s: {# L# e0 }1 ~* T; U" I: o: F3 c4 [
segments, info = model.transcribe(. C# h: L& j  E6 @, {
    sourceFileName, 1 L: K  I4 k5 k
    beam_size=5, & N. p$ m/ q- @6 s) B5 }  L5 B
    language="en", - D1 f0 x5 t9 C. `- M: `# ?9 d
    task="transcribe", % [. X7 G/ h; n# u
    word_timestamps=True, $ p- M1 d0 i  L: o; ]3 M+ B9 C
    initial_prompt = "Hello, welcome to my lecture.")
9 C3 @/ v" a# O0 A+ l/ v
) w8 B. P; n+ n* C; \for segment in segments:
8 h) b5 @; ]9 t$ z3 t; {. K; a3 E' ?    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))& ~! A& R8 \7 `  n5 ?
1 a+ P( P* T9 P- M) m
        for word in segment.words:
( X; |2 l' s1 ]& _                $ x$ c. C! Y: p2 a) D
----------------------------------------
+ C0 t, G9 b7 V- c5 @0 u( q1 @" e; s! g5 B( P
代码说明:
# R% t% ^. A6 e; w, K1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。
4 z6 g$ q) A8 @9 m; b但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。
; x* Z: A9 T" T; K% c% r/ @2,segment 本身是很粗糙的,做字幕勉强能用。3 u0 @! \, n0 j8 W9 T' G) y1 x
3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。4 q7 s1 i$ N, h1 D0 [0 y9 p3 ]% p. ]
4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中
) n& F* [- W( ~+ M% P2 q4 G; d比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
: t) L2 \1 J9 d$ V. c" o) ]3 `5,model.transcribe 中参数说明:3 d5 {- t9 x* I) r: `5 p
你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数/ C- f, H1 h/ w- l1 Z7 Q) C( z
其中6 B1 I# H4 R$ H3 r
    word_timestamps=True,
: C1 l, k/ X1 I$ {) T6 f' s* P8 D% H" ?保证了你能拿到 word,否则是拿不到的& a* a- Y# K& x+ d8 i
    initial_prompt = "Hello, welcome to my lecture.")- X4 ?0 A9 V# c: x! a3 g, D2 @/ n
保证能尽可能准确的断句 punctuation,但是不是决定性的。9 |  J7 I( i; i+ G3 I
其他参数可参考源文件:
" B& H6 d, G9 b; u5 k. khttps://github.com/guillaumekln/ ... isper/transcribe.py
, ^( q* ?0 d& H4 l1 X152 def transcribe(
( d/ u6 K1 l6 Q+ S9 U9 K' D+ |$ ^从源文件你可以看到是支持中文的句号断句的。
; N* j+ B' ?; t+ V7 _
3 z0 H* n3 {' ]6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。
" ]7 V" q4 v" {7 A  |! ^0 w7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。
( g$ C9 @8 U% E& H: t, V8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。6 @5 g6 x0 {+ F* F5 m- [
$ Z: g  X& ?* R2 E
; k0 d& A& k; C* o7 k' P6 G4 W
  I; T4 H* T" Z' ^$ s

评分

参与人数 4爱元 +32 收起 理由
蓦然回首 + 8
唐家山 + 4
老票 + 12
老财迷 + 8

查看全部评分

该用户从未签到

 楼主| 发表于 2023-6-4 11:53:23 | 显示全部楼层
多谢各位榜爷打赏。
回复 支持 反对

使用道具 举报

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2024-3-29 09:10 , Processed in 0.036944 second(s), 22 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表