利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

把PDF上传，然后让他抓取文字，并修改可能的错误。
/ @/ B# m/ W1 }然后deepseek完美的完成了任务。
3 ~% }9 K. m4 Y6 H7 \段落清楚，列清楚，页眉页脚全部去掉。
$ I2 P) r) x; }8 `: l' q我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
' }. }. n: ^& y2 M- ^& J' w4 _====
2 p# X0 o5 X4 N; ^) ]6 h$ M  c" D; R中文也很完美。
经验值，每次十页比较稳定。
1 @- y7 m, l" G9 W  v8 |" y现在我这里API还不能用，等恢复了，全自动了。
: b  c; M7 I& a5 J====
+ f, `) k4 ?$ c第二次疯掉了！
我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
4 m: O( \. ?' ^/ p, L& R: W====
! D. t0 y2 B0 U- V, _6 ~现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
) ~) ?" M# p: s  y8 d" h====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
* c. N+ P5 ~( B====
4 U  X7 w3 Z; j2 g好吧，有些东西是不给翻译的，哈哈。
0 o+ u! y, }( D2 O+ V
Sorry, that's beyond my current scope. Let’s talk about something else.
====
然后我的英文命令也让deepseek 帮我修改，呵呵。
====
# G. P- G* T  ]日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
9 l6 Q2 h5 M/ `  X& S1 X时间段的话，北京时间的下午和晚上用比较好。
后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
====
/ E" Y! r4 c  w9 o2 S8 U% b8 E0 G用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
6 F, v# g8 Z5 U" n$ P; M  p  B====
Deepseek，API 看上去可用了，但是不给充钱。

- y$ H8 @1 |2 m' b' O
& y5 X+ u! S( t- v$ P
; z0 p$ x6 w: e% k' p" @9 K

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
6 Z$ b& h/ e6 d1 Y' T这功能很赞呀

简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
$ I$ c* V" f; @5 E9 ?$ N有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

# B, w# l: ^+ u" }/ U1 Y% Y  A6 ?0 ^
以后让deepseek 读出土的竹简
8 @! D" t( t0 f' q% z
0 I( S  `" R. u  p: v( b( w还有把古文翻译成现代白话
  X8 b1 A4 T$ K3 A+ K
以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
, q! K+ y; t# J; s& Y$ O, W! n
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
& f6 O# y6 R3 L. ^. \3 q9 b2 G请教是如何实现的？

$ f3 y% \; ?( J2 y, o我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

. @0 i& M# O0 p) K6 |2 P- r
( v( f/ |( ~" z  c# _5 \7 \. H7 A+ L我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
1 z3 R( r! r, [
$ L  k2 h7 n! c: j) Q" c- P+ S我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

! [' r5 |7 s- w/ a8 Mhttps://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
; x" ]/ e2 ~' {7 k很稳定，质量不错，好像最多一次处理15页。
我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
+ a; Q* a* D+ R( d这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。

https://github.com/oomol-lab/pdf-craft

1. 这个工具要求装 python3.10
2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py
' u: _0 Y: m! @  Y& ]* U) s2 d6 C8 y
& z: v" P; Z5 v' j+ K, e

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   ( p1 X! Z% _' W& _
3. extractor = PDFPageExtractor(
   6 }. `4 N  u- n2 [  h9 R
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   
6. )
   
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   0 F& l2 V! S/ h5 P0 C
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   , q- a0 c$ y$ v" p
9.     md.write(block)

复制代码

要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
6 d  M! y% O- V3 F# C4.2 markdown_path：输出的 markdown 路径文件名
4.3 /path/to/pdf/file: 输入的源PDF路径文件名

5. 运行 python3 a.py

nanimarcus

+ h' J4 F. h9 A* F5 C- [/ x2 C目前为止PDF转纯文字的最佳办法。
先写个小程序，把PDF按章节切成小的PDF。
4 O, I; _% a# M+ l" v然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
效果非常好。
$ {9 S$ `: ?% b1 `4 i
0 P. Z2 x# k! \" f- A0 X2 v3 G8 Jdeepseek，qwen，chatgpt 三个，deepseek是最好的。

deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
3 q% P  h6 U, t1 k8 t+ R) {& K而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
+ \% ?7 E9 E( _  p5 r* ~我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

5 E' _+ I5 p! Y; `' ~7 h0 YAPI到目前为止，差强人意，不如网页版本修得干净。

deepseek可以同时开四个。

三力思

让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
; B1 K* `' o+ v4 T让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

+ ~7 `- g! h0 O, ]# k$ I3 K细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
) e& F( Z4 K& o细说一下，听上去很不错，多谢。

直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

2 U& \0 S7 `- J" G* w! o9 W; Z2 G
& G  }- C1 D! |0 S$ [0 G已经搞定.
; A1 `9 W, L7 e- w- ^% |" ^
3 `% N1 [% n2 t  `$ x首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

1, python + pypdf 按章节拆分小的PDF

$ ]" F3 k1 g  n9 l( p$ `2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
9 ~# l# ^2 _8 D
得到text file
1 c. `( A( v: J: _& b
; ?7 q4 ~! G/ O* ], c/ |$ [9 O+ `3, python 读取整个outputfile，丢给deepseek 矫正。
, }1 Q3 [2 l' d2 s: H0 i
! L2 J/ Y5 c# U& W模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。
  `3 V2 h9 H0 k* I
4 z7 V" F9 f( ]) E1 E参考：
https://api-docs.deepseek.com/api/create-chat-completion

4，费用：
/ J! ~5 ^8 }3 D4 {1 n4 {. n
2 L5 f7 w* i+ z# o6 x实测：
( M6 Q2 W2 b7 E; H/ I% O$ _7 g+ K
296K 字母，用了 9 美分。
3 E5 Z) c  @7 \: L# k  a/ U
9 m8 R4 t# ?4 {% A4 ~英文字母 到 token 用量大约 1/3

8 I0 e: u4 R" r& J+ `tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

& h/ l6 Q' M9 X  H# Z1 x( `32899 个字母花费 11782 tokens，包含输入输出的 tokens
; [+ j  n+ P) Q. a5 ?* J" a# f& |
1 m% ?; \( U, ?( l7 t. w( _价钱，非常非常便宜了。
: ]- g) j: ^* w2 Q
8 O& J, r  X: w# _参考如下可以计算，懒得算了。

" O" U( K% k1 }. g4 Phttps://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
1M TOKENS OUTPUT(5)                                              $1.10                $2.19
' B8 O& j8 A) b! j' H
5, Balance
9 i* K  R1 P; O0 \4 w* k
$ o3 n9 X) J; ~: i: R可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance

1 a& Y( a6 Z& y- b6, Models
4 `8 M" s; C; e( c8 t
目前就两个
; L) C" F5 g' U# deepseek-chat
# deepseek-reasoner
0 M3 q- i+ R5 H& }9 S
参考：
" `7 p& h2 {8 q! o/ l# I+ bhttps://api-docs.deepseek.com/api/list-models

; s( b' G9 Z8 e, J( S; k
; \1 |1 E) {. ^. o2 H3 K+ F7, 问题
/ a9 ~" ~" X: W& t% C
deepseek 会将前后两段合成一段。
. ]" j! m0 \# A- K特别是那种大量的对话的段落，deepseek会给你合成一大段。

. @/ L' @6 \  u- \9 r8 ~7 ~) g8, 钱说了算。

# f" y( ]  o) ^4 x* m) G  Udeepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
& U  e6 K( l; ^7 g但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。


( g* q; r0 }( Y( W, `/ A