利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

$ M* N" u/ ^- R' @/ L! X) P) y
把PDF上传，然后让他抓取文字，并修改可能的错误。
8 j0 U) L) S$ d% g! f% O然后deepseek完美的完成了任务。
" ^8 Z* e8 a1 P+ ]段落清楚，列清楚，页眉页脚全部去掉。
: t1 H! c. s7 u. u5 X6 G, l我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
9 L( u$ k7 t( X% H! ^2 x7 v====
: O5 u2 M8 ]/ d7 X2 P* Q* I  F' q7 w中文也很完美。
经验值，每次十页比较稳定。
  F, p; H% ]* j2 E# _6 W现在我这里API还不能用，等恢复了，全自动了。
====
第二次疯掉了！
5 v9 S9 P4 e) [# R* N我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
5 o+ p7 S9 i4 F) k: G====
: _, ?: `( O) W! N1 Y现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
/ j4 q# y1 O. U0 [3 S但是任务多了后，每次翻译的页面数是减少的。
1 ?/ x2 F/ r5 z0 _* e好吧，我五体投地，继续探索。
+ O$ L+ y+ w5 }$ q/ s* N====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
====
/ O% i+ v" y0 I9 f! w3 g7 ^好吧，有些东西是不给翻译的，哈哈。

8 X& |* P6 C, P4 t$ \, n; ASorry, that's beyond my current scope. Let’s talk about something else.
====
1 R. L: i4 |4 d4 W$ E然后我的英文命令也让deepseek 帮我修改，呵呵。
====
日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
5 U) Q( K3 {. t7 O1 n$ R9 m====
时间段的话，北京时间的下午和晚上用比较好。
后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
====
( d' ^3 `' A- T用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
4 ~+ x( o  X4 O' P====
& R9 w2 @7 B! aDeepseek，API 看上去可用了，但是不给充钱。
- |4 k% A, [5 z& `( z1 f8 z6 M
; W( L* n3 G, o) M

3 j/ G) g# e" l8 c

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
* [$ X: B; D. C  k这功能很赞呀

简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
1 ^2 a5 _$ t) v/ K有没有上传整本书试试

9 l; \4 N3 B5 p5 A目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

( o; f1 h& V  x7 Y, V6 Q2 g- M: J
以后让deepseek 读出土的竹简
8 L: T  |! r5 U4 F# H
; m( f7 d# q+ W, V5 p6 L还有把古文翻译成现代白话

0 }# u8 q% J! y" l' K0 D( W- K以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
) c7 u9 U) `! X, ?# u* s
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

2 Z. ~( L5 o# B+ k8 K  w$ b我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

" M- V0 H$ S& k$ _# U3 e我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
: R; P6 Y$ s- v4 y& v4 p. G* s文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

( P6 T$ v7 p4 M: x. I% B5 Q! Ehttps://chat.qwenlm.ai/
9 y) e" [: q( _+ }" ~试一下千问，估计美国人没有攻击他，所以资源敞开用。
很稳定，质量不错，好像最多一次处理15页。
) {  G1 P& o' K/ d, r2 Y我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
% b( G9 d1 e2 A# J$ W6 G处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。

3 S; E- g7 I/ _3 V  N$ Z4 vhttps://github.com/oomol-lab/pdf-craft
8 `% f4 m3 }7 [$ f2 r/ p
1. 这个工具要求装 python3.10
2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   ' c" }2 d$ G! `5 ~8 a
2. 
     u7 _9 i* Y/ T& _
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   8 G( k) I0 O- t1 \& G6 _5 q
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   . d8 L2 d' \4 p8 d: u0 B) b% T
6. )
   
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
6 S( l. ]. H. i% J2 J+ d$ Y4.2 markdown_path：输出的 markdown 路径文件名
4 Y  \# }6 l2 H2 k; ^9 q4.3 /path/to/pdf/file: 输入的源PDF路径文件名

5. 运行 python3 a.py

nanimarcus

6 U4 v4 p* G1 r% }- B目前为止PDF转纯文字的最佳办法。
1 h' h- f. T' ~" |0 P先写个小程序，把PDF按章节切成小的PDF。
7 h- ^  `, p1 B4 S+ _然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
效果非常好。

deepseek，qwen，chatgpt 三个，deepseek是最好的。
2 u% Y$ K- L8 Y$ Q) Z+ E7 ]9 O8 U3 t
% w1 f  ?1 l) K& hdeepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
" t9 L! T& d# {% y而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

API到目前为止，差强人意，不如网页版本修得干净。

deepseek可以同时开四个。
# `* y% \! \  K& E; t% w  i" Y

三力思

/ x/ A1 z6 T( ]4 @& k+ Z% r/ L! m让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
细说一下，听上去很不错，多谢。

直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

已经搞定.
' r) l; g8 J( w- H' K' z- n
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

1, python + pypdf 按章节拆分小的PDF
; n) j$ c, R0 {: W! Q/ O" Y2 M; Q
9 _9 h) t2 x: p6 }* ]2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

1 w$ C7 R- d0 y% e得到text file

3, python 读取整个outputfile，丢给deepseek 矫正。

5 z+ w5 d1 Z- ]( Q2 o7 ]3 S模型是 deepseek-chat
: E. \# ]2 N" a5 `4 d
max_tokens 最大是 8192，别的不用改。

, m/ n4 O) q; q! u参考：
https://api-docs.deepseek.com/api/create-chat-completion
6 N9 i( Z$ g* g
4，费用：
. l3 `0 l# P; D' [
. ?4 Y8 V3 f5 l9 o& a3 {实测：
: T0 a! A7 j1 H7 N+ I3 m* [2 `+ q
296K 字母，用了 9 美分。
( r/ c% ^" Y; z3 v4 t
4 ~- f# e: ]4 z. [英文字母 到 token 用量大约 1/3
- e& {) G% N" U  F
tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899
7 s9 d, m6 \% G9 K5 P# q. i
32899 个字母花费 11782 tokens，包含输入输出的 tokens
" P; G; |/ h! M, X
价钱，非常非常便宜了。
- P/ @4 r, @2 |: A+ i6 G" ]* p
7 v. X' p" Z- s6 U参考如下可以计算，懒得算了。
/ f3 N: ?9 _6 g8 Z- e1 H
7 M5 r: t! O9 I/ ahttps://api-docs.deepseek.com/quick_start/pricing
9 p% n) i3 a5 }  ]
1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
1M TOKENS OUTPUT(5)                                              $1.10                $2.19

" v* T' m$ a, J7 x4 Z8 Y' |. o2 H7 {5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
& O) a- t0 l! [+ B- X$ k( Rhttps://api-docs.deepseek.com/api/get-user-balance

) F$ t$ y9 o* s+ C4 f. c% j6, Models

目前就两个
0 ~8 T# `; G& J; M% n$ W# deepseek-chat
# deepseek-reasoner
" K5 Q- G5 [( Q# L7 h  F
参考：
- E5 O0 P4 U- q( N8 E! Ghttps://api-docs.deepseek.com/api/list-models

+ {; f7 j5 F# O* l8 ?
7, 问题
2 H$ e$ c& j. t; }; c/ v6 x* U
: v1 }6 |9 C% ]2 Jdeepseek 会将前后两段合成一段。
8 h" _$ [: H/ w  Y, V- W& Z$ j特别是那种大量的对话的段落，deepseek会给你合成一大段。
0 V( Z+ ~5 J6 O% D9 V. u0 j* e: v0 Z
6 k; `3 `4 A' M) v; S8, 钱说了算。
) `: t2 b/ ~! }& d8 J
8 P2 t9 W9 b5 h  wdeepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
* X& ?0 m$ T+ X7 r5 V但是API就不会出现这种情况，毕竟我们给钱了。
$ G2 N  Q% [6 @( ^chatgpt也是这样的。
" @/ |; n) M7 }