利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

  G* ]' ^% L+ C9 C" `
把PDF上传，然后让他抓取文字，并修改可能的错误。
然后deepseek完美的完成了任务。
段落清楚，列清楚，页眉页脚全部去掉。
. b0 X: I0 ~7 F! T& P3 }, Y2 F我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
" }7 A4 |4 f5 |1 x====
中文也很完美。
$ ^# P/ }: N/ c5 c9 }; ]经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
6 {% i& q; X7 v====
第二次疯掉了！
我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
) {2 K" |/ }/ v6 p- P0 f  P====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
! v$ `( m  ?( b0 \7 k/ C但是任务多了后，每次翻译的页面数是减少的。
4 L  b6 n/ w+ N' J1 A6 `& O2 t好吧，我五体投地，继续探索。
9 b/ N7 g) f* r  e====
; P  u1 k) s  A4 J& c) z4 Y为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
  x& D% S/ `0 K# o4 U) Q====
" G- @' ]  c) _0 z8 j1 l* \7 O7 H好吧，有些东西是不给翻译的，哈哈。
' }+ m6 Y: A$ ]
  X: B5 H1 b7 C& e7 y9 ySorry, that's beyond my current scope. Let’s talk about something else.
====
2 F$ ~2 q$ a0 Y7 f: }( S然后我的英文命令也让deepseek 帮我修改，呵呵。
====
日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
时间段的话，北京时间的下午和晚上用比较好。
后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
) r" i( x8 y/ {; j====
& V+ }& T3 [- b0 N: i用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
====
Deepseek，API 看上去可用了，但是不给充钱。

7 m3 U! v/ J" K
: y) J: M  H0 q( m6 S. @! x

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
- H2 y: ~  ?8 ~% b/ ]这功能很赞呀

6 H7 _* g  s  b8 e6 z' F简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
, o: G, H3 P/ p. i6 J( ~6 Q$ D有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

  f8 L) Q* s7 D/ |+ J& h& W以后让deepseek 读出土的竹简
- c( S# Y  I- l) u" A. `/ P
还有把古文翻译成现代白话

以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
2 F5 X. U1 N1 U9 {: y3 n1 ~5 a/ Z4 o* S' Z
" S, O. q6 J- z9 n& b, f4 f我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
5 J. ]9 u: F. r* j# _. @
( L+ j2 I4 P8 v( W7 D8 U1 f我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

- U0 k4 _% c/ O, D' c' V1 C
我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
0 v* ^# g, C" U文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

& Z" G5 u- C+ B) a0 R$ J. ~; V4 thttps://chat.qwenlm.ai/
! u' a2 F1 B8 i& J# B. S2 R9 ?4 D试一下千问，估计美国人没有攻击他，所以资源敞开用。
很稳定，质量不错，好像最多一次处理15页。
我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
, M& x& W, m. |: F* R处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
: A9 f8 o1 O! f
https://github.com/oomol-lab/pdf-craft
3 {; r, O, x/ W5 O  k
7 H1 b; H# L/ M7 P' U1. 这个工具要求装 python3.10
: f6 t' h  `& @2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
& y+ a* z  D. m  X+ ^- ]4 d9 j3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py
7 Z4 y8 \7 S) }# g3 Q
0 ~) \6 D* _% H7 O

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   / O; t* M9 r7 ^8 u1 K1 j; v8 w
2. 
   2 z6 U$ ]1 J+ x6 F8 E
3. extractor = PDFPageExtractor(
   / V- @: A1 o/ ~% L, Q
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   , T8 {7 V' \. T" V
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   
6. )
   9 }  x) x! W& o: F1 L
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

要修改的内容：
( V6 b# D  H+ Z. \* Q4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
4.2 markdown_path：输出的 markdown 路径文件名
3 r7 U, s) P$ f9 Z; r$ w  W  B$ Q6 N$ J4.3 /path/to/pdf/file: 输入的源PDF路径文件名

) f# o9 s5 F! @8 i( R5. 运行 python3 a.py

nanimarcus

- o/ M+ i" m+ f4 {7 j& Z
4 ^; F) W+ ?8 M6 X7 N目前为止PDF转纯文字的最佳办法。
先写个小程序，把PDF按章节切成小的PDF。
' m5 Y2 L7 c7 P然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
效果非常好。
( [( g% z( ]5 l3 {
" `$ |% ^) t+ d% e: ]  N' d: Cdeepseek，qwen，chatgpt 三个，deepseek是最好的。

% N) q/ k) G5 K5 B. B( G* |$ R- mdeepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

; b0 C9 \1 q4 O! K, u  ~API到目前为止，差强人意，不如网页版本修得干净。
0 W0 ?. Y  Y, S" Z% a+ R7 r
deepseek可以同时开四个。
+ I5 E, F- D1 o, j% R- C

三力思

让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

' g6 D0 i. f; ^. r& u细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
  t. X- H+ g! ?# n细说一下，听上去很不错，多谢。

% n4 V5 [. j& S- _; Y* r6 E( b# Z: ?直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

) J0 y# H/ t; Z8 P已经搞定.
: \9 n7 P( J, f2 Y8 @' c
. }$ U8 t  e' ~! G+ @% V* d7 l- ~首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。
9 |# A8 A4 P3 m8 t; P2 C0 Q/ E5 y
7 |3 b, A7 x* P( H6 @6 t1, python + pypdf 按章节拆分小的PDF

2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
# R! F7 n! t2 q, K  [. y5 o! R
+ i; p, ~1 S0 `5 D" O5 r& ?; x得到text file
4 D# z6 V& r/ Q
3, python 读取整个outputfile，丢给deepseek 矫正。
& f- d! R6 x8 H: R* q2 X; ?  i$ V2 D
" s" l6 N3 V" [( O% O! \# X7 h5 F* A6 P模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。

( j; F- {$ ~5 J- ~5 G参考：
) Y6 U, I# H# U( zhttps://api-docs.deepseek.com/api/create-chat-completion
- k2 }: C+ |7 H$ s: X
% G2 J3 d: H) Y9 I" |+ M4，费用：

实测：
: o" H4 ~( U6 M2 z1 t1 Y
$ I- k5 z, Y3 v8 k296K 字母，用了 9 美分。
" x# t8 @) E$ H# w
6 d1 h5 X* E/ Y" c英文字母 到 token 用量大约 1/3

tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

3 Z9 Q9 G" P: P. R! {8 R32899 个字母花费 11782 tokens，包含输入输出的 tokens
: V; l! s/ x) ^! b5 h+ C9 W
% d( ?2 s( j7 g- C% b价钱，非常非常便宜了。

  w6 @, }: e+ ]  z* S! V参考如下可以计算，懒得算了。

  g9 s6 w0 a) m3 C2 D4 J" a" Yhttps://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
- [0 Y* L' S0 \: M; [1M TOKENS OUTPUT(5)                                              $1.10                $2.19

4 B2 W0 B0 `1 X, g5, Balance
- R; n8 H8 l3 g, Q
" N& ~( ~& z, ~7 q0 a$ l9 |可以在程序里调用，知道每次运行结束后，balance还剩多少。
1 p; j( R" ], z5 w" i+ C' d& \参考：
- ]  D/ s  @, Q$ l; `https://api-docs.deepseek.com/api/get-user-balance

6, Models
4 A0 G2 v# Q0 P
目前就两个
. [- }' X0 J# p2 y4 B  v* u- A/ N9 |2 i# deepseek-chat
# deepseek-reasoner

7 }  F% U! a6 A+ w/ y: p  Z参考：
https://api-docs.deepseek.com/api/list-models


7, 问题
/ p8 f/ O) f6 L! \
1 [4 `) i0 ?; }* Y; g' K: Tdeepseek 会将前后两段合成一段。
特别是那种大量的对话的段落，deepseek会给你合成一大段。

8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。

! Q  G, n2 ?) g  |