设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 5143|回复: 1
打印 上一主题 下一主题

[信息技术] faster-whisper 更快的语音到文字的识别 ASR

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2023-6-4 02:10:18 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 7 V+ s1 u( v! ~9 S9 ^6 A

2 e3 G7 s/ B% z2 E& G借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。
! e% h: l$ W+ l% y8 _8 m  v& s' H效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。7 ?% D3 d4 d% ?, _2 U& v' B
----------------------------------------
3 m$ B0 B: C7 G显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。
& Q# f) K6 m& u- N- v' B9 Q在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
1 M8 K6 u, H& E' a----------------------------------------3 V( j/ A, g$ e) F3 S+ R
https://github.com/guillaumekln/faster-whisper: _0 J7 E8 U' {7 v; d9 U
安装如下:
& T) x# N$ R6 a1, Windows 100 p6 z/ e+ O( h: {( }9 j
2, Python 3.10.11! z9 l  [( s8 w- y0 E% s' S
3, CUDA 12.1
, m/ l* v  b1 H& s" G' C, F, J4, 在python 3 中安装, N  Z. T3 N  i2 Z, h# ]
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
* H7 T6 A# y7 e# \: M这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。! D% {+ Z& [5 i  B/ C- C
5,pip install -U openai-whisper+ S, e. u. o) H6 m, t5 ]
这是向whisper 致敬,可以不装
# ]) `8 B1 K4 \& S9 X1 R- d6,pip install faster-whisper
& y- Z1 V4 c9 J# A% g4 {: U; E  [----------------------------------------3 R+ b5 o( o& i+ ?& H* [& {4 E
whisper 我用的命令行,faster-whisper 我用的是python。$ w8 D4 t' e6 g* u$ R9 n! Y$ s
下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:  w+ I7 l9 j. R  J$ Y: w
: E& l' f; X5 P1 ^  A9 ~+ Y
----------------------------------------" U* D1 v$ c8 ?
# ?9 q% ?# B4 v( l% s
from faster_whisper import WhisperModel9 M, d- K' o4 q, M- |4 q! g

) x. {  \2 o$ z+ F* d5 mmodel_size = "small"
7 M% Q' _% A5 B5 s5 k" x7 H2 D. S; }. t# c' W' m1 ]3 x+ ]
model = WhisperModel(model_size, device="cuda", compute_type="int8")
$ c& F2 K4 H8 T' E# v
. k" M3 d! a& I" {. s. N7 Jsegments, info = model.transcribe(
8 U7 }% |6 p4 C7 {: W! p    sourceFileName, * W5 O, o  i6 b# L  X1 W$ Q2 s
    beam_size=5,
: e' i% k' R" ?  u! G; M/ J    language="en", : R) X, ^3 X5 @9 l/ S
    task="transcribe",
. S& Y# ?& `- ]6 \, b! w    word_timestamps=True,
4 V5 q8 W' N" C. Y5 p    initial_prompt = "Hello, welcome to my lecture.")
# C2 l% c7 E- V* L4 L$ {7 X6 A( R# D1 L
for segment in segments:1 I% q! o: X% w+ ?
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))0 X: H3 p$ i( P# H- b9 {2 {

4 N, F5 w" C7 V! o8 `0 I        for word in segment.words:
0 b( ?2 j6 {2 c4 v" B               
& G7 L, m/ G9 l8 L" H) }----------------------------------------
7 ~0 S! e7 K7 i/ A# ]% \
1 o( S! ^! Q* e' w) P代码说明:
9 C" E3 k; d* d9 d' G1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。
, n/ ]2 o+ S* z8 J" v& S但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。
% b# ~2 |/ w* {) w# O. {* Q2,segment 本身是很粗糙的,做字幕勉强能用。. m/ g/ ], p( |# a& g9 m
3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。
# ^1 C! j5 n  m1 p4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中! r/ J5 J$ `* P7 v7 |
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
4 m- l* J! J3 L0 b" I5,model.transcribe 中参数说明:0 p9 }& m1 v/ H: Y# p
你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数
/ p1 H7 P+ g4 q$ [0 c其中
9 ?# |0 w0 y$ O: f    word_timestamps=True,
1 ?$ h. u. K6 {# W9 e保证了你能拿到 word,否则是拿不到的/ b( ~+ \( C3 `$ R3 ~
    initial_prompt = "Hello, welcome to my lecture.")* V% K8 s" y% O* b" n$ I- L7 x
保证能尽可能准确的断句 punctuation,但是不是决定性的。
$ r( K6 T0 q* o" h  L其他参数可参考源文件:
' X' S- g2 u2 B: J% f2 jhttps://github.com/guillaumekln/ ... isper/transcribe.py
3 q4 i+ C/ Z  n/ P! ^152 def transcribe(
" a5 i" e" H# A2 @从源文件你可以看到是支持中文的句号断句的。% ]4 _& }1 G$ v, U! {# u3 W

+ [* e# {7 D# P8 h6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。! X8 E- t8 J0 x* _  W9 m$ u5 T
7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。1 y; W0 K7 @4 f5 Y6 i
8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。
. Y. I3 f# C5 Z6 u0 h; ~% v  Z: i3 T  C! V$ S5 v& k) t

2 v2 b* t6 ~8 `+ r; V8 x! F) N& j: {7 ~( T: `( J% |

评分

参与人数 4爱元 +32 收起 理由
蓦然回首 + 8
唐家山 + 4
老票 + 12
老财迷 + 8

查看全部评分

该用户从未签到

沙发
 楼主| 发表于 2023-6-4 11:53:23 | 只看该作者
多谢各位榜爷打赏。
回复 支持 反对

使用道具 举报

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2025-12-25 16:55 , Processed in 0.027814 second(s), 18 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表