利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

把PDF上传，然后让他抓取文字，并修改可能的错误。
/ P- E' _( ~. f% [* X" Q然后deepseek完美的完成了任务。
段落清楚，列清楚，页眉页脚全部去掉。
' y& j; W1 A. f. d& `我要疯掉了！
6 B( M2 G1 h. o- i! I4 b赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
====
5 E2 v  k. w) J, R: @4 m3 q: }0 f中文也很完美。
- v7 L) ~, j# Y  B$ r# w# g0 }经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
. h9 K: _" ]- Y. s6 S) w====
. w, N/ D' a3 I  K第二次疯掉了！
我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
====
# T6 U' R4 h* N& [1 H7 x现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
% G& [8 c, c$ N" e5 H, `但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
====
5 s6 C' X2 i! [: [# Z为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
! P% X# k) u# O. t0 ~( j8 _====
好吧，有些东西是不给翻译的，哈哈。
: B/ C& o- S/ M5 Z
  v, {6 X" O9 W& u9 @* I3 iSorry, that's beyond my current scope. Let’s talk about something else.
====
然后我的英文命令也让deepseek 帮我修改，呵呵。
====
. r$ z$ z: G+ `( `' a, T1 |日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
! [& {- ]* j  Y* p时间段的话，北京时间的下午和晚上用比较好。
8 t1 x2 j0 s& r# G后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
====
8 D8 j, y! J. [4 `8 V用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
) K8 i3 v  Y' q9 ^3 R7 K====
Deepseek，API 看上去可用了，但是不给充钱。
$ O3 D: {0 r  n  z" f
# F# W" ~( b7 c. c# w9 r2 @
5 M% I( K! k( c$ f9 E0 q

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
这功能很赞呀

* X/ D7 k, l% b4 d0 {简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
. ^$ ?0 {+ b  m9 L5 n( f% Y. s* `" p6 o有没有上传整本书试试

9 e+ Z) d7 q. y0 D$ z$ o2 N目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

/ x% d, S' h& i2 e
以后让deepseek 读出土的竹简

% o- ^# Z; Z/ I) G/ L还有把古文翻译成现代白话

2 K' g' z6 W/ M2 b以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
0 I8 I! e( J6 k, U4 x$ k
4 R$ O; @, m# e: X9 O! _我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
' H0 M( f, e& f, S- |, O8 a5 h% p请教是如何实现的？
& T) `+ f" p0 t4 @5 d( E, r* w# x
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
/ D9 c  m1 r$ i1 F- P0 O# x文字之类的没问题。估计deepseek现在暂时只保证主要功能。
) E, V* {# _1 d3 B美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
' f% ]; }, s3 \

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
; ^4 }1 [# {( x) V
" {; H' V3 H& ~. x: t8 O我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

& @: `, i0 N/ E1 a% P. `7 whttps://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
+ L8 }( ]+ F" Z& a" U8 R很稳定，质量不错，好像最多一次处理15页。
: ?2 A* ^: H/ S" Y2 _6 p我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
' y/ X& `2 P$ S. R& G5 ?这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
6 |7 ?" \" s: P3 t2 J
https://github.com/oomol-lab/pdf-craft
+ N3 |5 W3 R5 g/ F
3 n: h; k6 @# T0 }- M1. 这个工具要求装 python3.10
, |, N+ l" E! Z! c5 [: M; L2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   * C' \! ]; k2 ]
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   0 _- J  a; ~# x- f5 F! W
6. )
   * |( @0 z7 h' |
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

7 U* O8 ]9 h. s% r" i$ U
要修改的内容：
3 L2 D, j4 l4 [6 C7 x- a) Z2 B" t4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
& H$ z0 s1 m: ]& ^4.2 markdown_path：输出的 markdown 路径文件名
4.3 /path/to/pdf/file: 输入的源PDF路径文件名

, |/ _" x  [$ c, O# w5. 运行 python3 a.py

nanimarcus

* Q# Y$ \2 r8 B# i% {, X& \' Z
目前为止PDF转纯文字的最佳办法。
: w6 z/ r; T( f' Q+ e; }先写个小程序，把PDF按章节切成小的PDF。
然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
, m. R+ l: ^! V' @效果非常好。

2 \. [% k: ^( ]/ c( }deepseek，qwen，chatgpt 三个，deepseek是最好的。
6 d; [9 U) R+ U. G
deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
3 x/ X$ q/ k+ p- s& w4 G我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

! Q, D% x; B8 F9 gAPI到目前为止，差强人意，不如网页版本修得干净。
! S- X  U( i% \1 L( |( y; y
4 r" [, g- s! d  A! k* ~. }% udeepseek可以同时开四个。
3 Y3 y, }" N# p# l

三力思

# ?+ e6 u1 t* x3 K7 p7 m6 L  f  Q
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

) e, Y2 Q  o* g0 V+ }细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
细说一下，听上去很不错，多谢。

& a0 y3 Z- k$ u' F: F  O# e直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

* {8 a4 s1 m6 F% Z" B
已经搞定.
8 H) i2 A+ x' ]3 Q- X4 b
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

; P* ]- D3 f# p& I9 K# g2 i" ~1, python + pypdf 按章节拆分小的PDF
& A: n6 i; J& y' d8 f
* q2 X! V# f! i! i- V2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

得到text file
% S" v4 @; Z" H4 I9 k
/ n; j4 |, C3 |' z4 f3, python 读取整个outputfile，丢给deepseek 矫正。

模型是 deepseek-chat
% i/ G) Y- F; _. ~% p; c* G
max_tokens 最大是 8192，别的不用改。
! k+ n6 {( N/ B8 q/ V5 ~
; \& O& R1 k/ y; y$ T4 Y7 {1 o* ~7 X+ a2 n参考：
2 K, l) g  B  rhttps://api-docs.deepseek.com/api/create-chat-completion

4，费用：

实测：
& @7 u9 w8 h* |9 G. B) |6 o4 i  W2 G
296K 字母，用了 9 美分。

/ Q+ E- ^( N. y1 m# G3 F( n英文字母 到 token 用量大约 1/3

2 N( L& z$ e$ c1 utokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

32899 个字母花费 11782 tokens，包含输入输出的 tokens
. u8 l  i& ?  `
价钱，非常非常便宜了。

参考如下可以计算，懒得算了。

https://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
- `* ?/ R! G/ X7 l0 O1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
: O3 d3 t& |1 d7 W; w7 M9 u! F1M TOKENS OUTPUT(5)                                              $1.10                $2.19

5, Balance

' d4 k! f1 g8 _3 \& V5 I" `5 N可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance
0 S, F4 l8 N. U, d/ S
6, Models
) H2 G/ i% g; X8 a9 q
" E. z7 x; S. ?# q目前就两个
# deepseek-chat
# deepseek-reasoner

参考：
https://api-docs.deepseek.com/api/list-models

* _$ N! I6 [  {7 M/ l
- ?9 R! ]  ~; l" Y* @& g- P# H7 \7, 问题

deepseek 会将前后两段合成一段。
* M0 n; q) e9 K特别是那种大量的对话的段落，deepseek会给你合成一大段。
. S4 [4 t5 u; H& M- F2 Z
8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。
( Z- ~- w/ u: R
, K; |) m; ~% c6 {; L0 ^7 U
# _0 L% u# X: u