设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2411|回复: 17
打印 上一主题 下一主题

[工程技术] 利用 Deepseek 抓取PDF的文字并矫正。

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-2 03:35:19 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2025-2-6 22:17 编辑 2 L3 z8 i) k- R* \9 p

2 A5 r5 S* h4 S3 j8 M6 w- E' ]把PDF上传,然后让他抓取文字,并修改可能的错误。
  f% E, y: D2 t; D/ Y. r# U然后deepseek完美的完成了任务。# L; ^) B- U" \! `  m: Y  I
段落清楚,列清楚,页眉页脚全部去掉。
2 o4 ]9 h' Z( z- r, \5 S6 J9 c我要疯掉了!+ `  X7 H, H/ k9 P! s- G+ K* A- ^
赶紧把自己那些成年老书给搬出来,deepseek,这是党和人民考验你的时候了!# z* X* l! J1 s
====
- j1 P! u- g7 W' W中文也很完美。
2 d$ r( E, C( b经验值,每次十页比较稳定。
' t1 D: K  B$ z! Z6 c现在我这里API还不能用,等恢复了,全自动了。6 {. r' E$ [1 H7 J- I' n
====
4 U# d9 z( `7 E. V& z第二次疯掉了!
0 F# X! R$ F: M# P我上传英文文件后,让他抓取文字,矫正,然让他按页划分,前面放英文,后面放中文,结果仍然完美。
5 a0 Z0 ]; C% O" L====
/ B& s1 f# w" \- l现在我让他从PDF抓取文字,矫正后,按段落翻译,可以一次翻译多个段落,每次翻译不超过一个固定数目,结果仍然完美。
. {! \9 j" V1 M3 e6 k" m但是任务多了后,每次翻译的页面数是减少的。6 l6 a! ^! U% D3 j5 F2 g
好吧,我五体投地,继续探索。
4 a% v& H; m5 G+ s* D/ n====" \0 b7 w6 w) v' k. M, N# Z; K
为了防止中间结束,可以告诉他必须所有页面全部处理完就可以了,我现在是应该佩服我自己呢还是应该佩服 deepseek 呢,抑或都佩服。- z: }: ?3 j# Z
====
: Q& P# D; y' w好吧,有些东西是不给翻译的,哈哈。, \/ {& a! A/ V! r$ I9 f$ W
: Z8 \( G  I4 t+ |0 x
Sorry, that's beyond my current scope. Let’s talk about something else.$ K: r, e' a1 c- Q1 f3 k
====/ N1 Q+ E( a( @9 u9 ~
然后我的英文命令也让deepseek 帮我修改,呵呵。
2 f% @  V( p) p( l- f3 ?====4 q9 X: }4 l( i9 y
日语的文本他也可以处理,过程一模一样的。问题也是一模一样的,假名太多,汉字很少,我不懂日语,翻出来都不知道对不对。
+ T) ]9 H5 q6 \+ a. ]  S====
$ ?& Q) i# @7 a& G: Q7 U时间段的话,北京时间的下午和晚上用比较好。) K) W# D6 s6 V- |( Z4 N
后半夜和早上,美国人上班了,要么在用,要么在黑客攻击。
% C# L2 T  B& r* d: j====
: l0 B8 r% K" c. [) K0 i% O用千问吧,非常稳定,非常强大。
& w8 @& m/ S3 Z- G1 N; U" e% khttps://chat.qwenlm.ai/, Q2 ~0 O5 k, a/ Z: e( ^
====1 G3 m+ b! ^# _9 K$ {. K, W7 O3 N0 h
Deepseek,API 看上去可用了,但是不给充钱。) E1 \1 Q: N4 ~' o& G( x% N* T6 N

' V' V+ K9 V; |% K- t, r( @+ q1 e! I3 ]5 q2 w

* \2 B; m. K" [, Q' q

评分

参与人数 11爱元 +102 学识 +2 收起 理由
testjhy + 10
johnsonjian + 10
helloworld + 10
laser + 10
笑羽 + 10

查看全部评分

  • TA的每日心情
    开心
    6 小时前
  • 签到天数: 3637 天

    [LV.Master]无

    沙发
    发表于 2025-2-2 03:53:32 | 只看该作者
    这功能很赞呀

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2025-2-2 03:56:21 | 只看该作者
    马鹿 发表于 2025-2-2 03:535 y" [9 S+ N) l6 L# {) i" W
    这功能很赞呀
    : c2 W) j6 c5 n" o2 n2 U- t% G1 Q) U
    简直太赞了,我现在正在思考还有什么工作需要 deepseek 干的,现在的上限是我的上限,不是 deepseek 的上限。

    点评

    给力: 5.0 油墨: 5.0
    油菜: 5.0
    油墨: 5 油菜: 5
      发表于 2025-2-2 08:23
    给力: 5
      发表于 2025-2-2 04:41

    评分

    参与人数 2爱元 +20 收起 理由
    笑羽 + 10
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-1-1 00:00
  • 签到天数: 793 天

    [LV.10]大乘

    地板
    发表于 2025-2-2 04:13:28 | 只看该作者
    有没有上传整本书试试
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
     楼主| 发表于 2025-2-2 04:27:15 | 只看该作者
    indy 发表于 2025-2-2 04:135 q: Q% S! }# k2 z
    有没有上传整本书试试

    1 ]/ X' t* o0 |9 G目前看来,差不多十页左右就停止了,看看还有什么诀窍不。

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10 谢谢分享

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    6 小时前
  • 签到天数: 3637 天

    [LV.Master]无

    6#
    发表于 2025-2-2 04:41:51 | 只看该作者
    本帖最后由 马鹿 于 2025-2-1 15:43 编辑
    " f5 }7 j1 `/ R/ m3 u* w8 K
    4 g. e0 M( Z. p# S& ~以后让deepseek 读出土的竹简7 E) T6 d! ~; b6 v' M- i

    ; I( R8 {$ M% I# ?" k还有把古文翻译成现代白话
    $ |7 J3 r4 R" P! j
    . D0 W1 T$ b. J5 `7 [以后不认识的字不查字典了, 直接问deepseek
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    3 小时前
  • 签到天数: 2799 天

    [LV.Master]无

    7#
    发表于 2025-2-3 01:23:54 | 只看该作者
    请教是如何实现的?6 B" E8 |6 ]- T# p# r! f
    0 k( l& K( H( x( Z# K$ v5 J6 G8 Q
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后,发出指令提取文件中文字,始终是文件解析中。直接在DS里问如何上传PDF文件,并提取文件中文字,照做其实是一样的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
     楼主| 发表于 2025-2-3 03:06:35 | 只看该作者
    方恨少 发表于 2025-2-3 01:23
    % L+ S& F" o" e+ d+ g" H请教是如何实现的?
    $ H9 M0 \# F& O/ g6 \
    0 v. C, P7 a7 `( q7 t我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
    ' C8 r3 z" z' @$ ]

    , g3 r0 t- ]1 k& j; n我现在也上载不了了,"upload failed",几个小时前还好好的,应该是服务又受攻击所以功能收缩了。
    1 m3 K# {& {. R! n, C; R& l+ Z文字之类的没问题。估计deepseek现在暂时只保证主要功能。# y& \3 r7 G: p$ U
    美国人就这样,打不过就耍流氓,估计要等一段时间才能完全恢复。
    2 ]" l6 |8 Z: a

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2025-2-3 03:40
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-5 00:15:37 | 只看该作者
    方恨少 发表于 2025-2-3 01:230 a( }: |' g9 O
    请教是如何实现的?
    / J. V8 Z" c' @/ l
    - N; V% p+ I8 h8 T* Y" A. O, U我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
    . c7 ]7 L* Z3 J$ T: L
    https://chat.qwenlm.ai/2 z' u1 B% Z) _- M) L  ?
    试一下千问,估计美国人没有攻击他,所以资源敞开用。
    1 d- R- a3 G( i! j很稳定,质量不错,好像最多一次处理15页。
    + G7 ?% h7 {- O1 y! ^% ^我直接拿deepseek的指令用,没有区别。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    6 小时前
  • 签到天数: 2915 天

    [LV.Master]无

    10#
    发表于 2025-4-16 17:01:29 | 只看该作者
    试了这个工具,可以转成markdown,正确率很高,有漏行,图片会放在一个指定的目录下。
    - X5 q: }( p1 G- g/ m处理一本100页左右的扫描版本的中文PDF,一份某行业的接口标准,纯CPU,几分钟时间。
    # U) A5 s! @4 b. U这个工具不能处理表格,我把文件拖到豆包里,“把这个文件中的表格转换成 markdown。只是表格,不需要其它内容”,表格多的话,要发好多次“请继续”。5 @+ {8 B. I/ i3 C! A, ]: S# ]
    8 [6 E8 b2 z" w7 c: Q* t
    https://github.com/oomol-lab/pdf-craft4 S) D( c1 E5 ^# M( v( J4 F
      }4 D* }8 D+ d) L' I1 \' L
    1. 这个工具要求装 python3.10
    / w' B5 a2 R2 P6 J: p& ^* e2. pip install onnxruntime==1.21.0, 有英伟达的卡:pip install onnxruntime-gpu==1.21.0, U+ m; [3 Y4 L
    3. pip install pdf-craft# l* ?7 i* E  F! a& G
    4. 把下面的内容写到一个文件里,例如 a.py. M: u" {$ r+ J) e2 G) w

    + e$ |7 h0 Q# f3 z: f6 U4 O% |
    1. from pdf_craft import PDFPageExtractor, MarkDownWriter
      ) d" b' e9 e/ `" p/ |
    2. , G5 U+ J1 g* `1 w- W
    3. extractor = PDFPageExtractor(
      . x7 L- ^) t3 [6 \7 @3 U/ m2 l" w8 S
    4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
      " z7 ]) d" g4 x  S  Y
    5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed2 ^) H8 c) I* d! R  h6 U
    6. )  z8 M: `" W, C3 l! a8 ]
    7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
      ! t: C' |2 g/ y" g2 N
    8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
      : n/ i3 x5 g+ o* y
    9.     md.write(block)
    复制代码

    % e/ F9 p' B  L. e' `9 Z6 J7 T, p6 Q
    要修改的内容:) e  [. q) t5 ^) p1 X( c
    4.1 /path/to/model/dir/path:存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型,国内的要科学上网,国内的镜像上没这个模型; f! k7 W, T, B0 v- B0 A5 N
    4.2 markdown_path:输出的 markdown 路径文件名6 H3 B/ f; b, }
    4.3 /path/to/pdf/file: 输入的源PDF路径文件名  t* `6 _6 Y3 E0 m- W! U
    ' [" W, _6 R! ]5 E
    5. 运行 python3 a.py

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
     楼主| 发表于 2025-4-16 19:47:30 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-16 19:50 编辑
    ) @% F, p) E& \1 a, K5 z3 h
    0 b# J7 Z! {! [$ Z目前为止PDF转纯文字的最佳办法。5 v5 V: v( {5 L' D: C$ F% ~
    先写个小程序,把PDF按章节切成小的PDF。8 [% H" v9 h8 _5 t7 F
    然后,把PDF一个个传到deepseek,让她抓取,除错,输出。7 ]" A4 O2 P) j9 r
    效果非常好。' a/ h  p, f! ]$ @  x
    $ s* D6 B# N% m
    deepseek,qwen,chatgpt 三个,deepseek是最好的。! S8 d" `  c5 l- _4 Z# j/ q

    3 H1 l* d& ]& v  hdeepseek 把页脚页眉页号全给去除干净了,跨页的段落也给你修好了。
    4 q+ X- [* Q) `" q- F4 ?4 z6 c而且deepseek不会加戏,chatgpt有时候会想当然的加上没有的文字,让句子看上去想那么回事。
    0 Q* O: C( n$ R4 f) G8 `& u我曾经修一个历史文章,chatgpt给我活活加了三段,真是文豪。
    ) S9 ~+ u+ E" _% U4 _; D4 d0 f5 R/ _& ^+ D0 y
    API到目前为止,差强人意,不如网页版本修得干净。
    , F$ |  M, v% |- o8 X; h$ m8 T, `0 |& B, c* e. }4 v
    deepseek可以同时开四个。, i4 e# ?0 Y; x2 p

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    12#
    发表于 2025-4-17 12:26:23 | 只看该作者
    本帖最后由 三力思 于 2025-4-17 12:27 编辑
    : n6 B2 F! v/ q2 q$ Y, x. N/ N$ M6 I  v) H
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
     楼主| 发表于 2025-4-17 16:33:20 | 只看该作者
    三力思 发表于 2025-4-17 12:26) Y5 Q* v5 {+ m: I  _4 C& Z. d% }
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL ...

    * j8 A; f) c4 R0 t6 {7 ^- B细说一下,听上去很不错,多谢。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2025-4-17 21:22:24 | 只看该作者
    nanimarcus 发表于 2025-4-17 16:337 _0 e/ I5 g1 X# H
    细说一下,听上去很不错,多谢。
    ' m. `( q, L+ e( M- J$ v- E. x
    直接问DS,“用C#,JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-4-17 21:55:57 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-18 15:39 编辑 ! e+ t& o2 Q5 H9 e

    5 k# M" W# {) x+ K; l$ j已经搞定.
    - a) r/ g4 m# P% F3 ^1 K% Q+ G0 G. \, B7 [
    首先 PDF 本身已经OCR了,Adobe Acrobat Pro中自带这个功能。
    - w+ B  K- _7 T  a) v) X) }0 y
    . @# Z& j( D% `! Q0 Q* F8 `1, python + pypdf 按章节拆分小的PDF
    " A5 F# {5 |9 M5 w( S
    ) E( `$ ?0 E; e6 j- x" \2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
    $ K' C3 k( i6 w& j" j/ F+ }+ y
    % b  g9 B% S9 Q! N+ m8 ~得到text file
    8 W* Q$ [3 ?5 @! z% P5 n6 n) `+ U; j# t5 o; H/ e
    3, python 读取整个outputfile,丢给deepseek 矫正。
    " B, |, N  g! \0 b
    7 U3 m( s0 O+ L模型是 deepseek-chat' M9 V! h7 e: k( @

    1 k; M- ^) o' T% M4 Kmax_tokens 最大是 8192,别的不用改。
    / G. ^# @8 W/ U0 R3 P! ?- V/ J" l- q  z5 H. P. a6 K
    参考:
    + D- N& E: G. b+ ohttps://api-docs.deepseek.com/api/create-chat-completion
    ' D% ~1 v% x$ i" o2 l1 u' s; R. u$ p: M: t  S( e
    4,费用:
    : T6 p, g  t+ ^4 u9 `' @, C9 g) s9 |) n4 T
    实测:
    ( i8 l+ L" B& |2 m8 D8 u. W! a7 F% ?) Z8 V
    296K 字母,用了 9 美分。  k! J5 |+ I& M, J( c2 y( h
    & j4 u: N/ |# h" a- x+ U
    英文字母 到 token 用量大约 1/36 p- X, y6 B, y4 i2 g) U
    0 F/ L6 _. y2 e0 Y# K9 ~
    tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899* T# I. P4 O9 d0 Q8 M: @
    2 I3 A& s0 D5 s/ U0 p- f
    32899 个字母花费 11782 tokens,包含输入输出的 tokens6 c* o( }" y/ X% Y# z: E+ g9 T

    4 C! e% @$ R8 A- t" G5 D4 f3 D价钱,非常非常便宜了。
    4 \' b4 V7 Z( x4 E; B; S! M' ]! d! T( r. P/ C
    参考如下可以计算,懒得算了。
      ^3 F1 V2 @6 q& x: ]
    ; b& }0 F* _' v" K; T: m% `: I% D/ [https://api-docs.deepseek.com/quick_start/pricing
    ; h0 n: N% s; |6 H! v0 d* Q8 {/ {, }
    1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.141 _4 @: j4 [* Y$ L. D- t. u
    1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
    . M7 F6 M; |- z* x8 n# b1M TOKENS OUTPUT(5)                                              $1.10                $2.19
    1 J) l/ @$ }2 j% O6 V
    / t0 c8 p5 Q/ H1 Y$ q5, Balance1 J1 s: L: Q* Y2 t
    $ J4 ~. r6 ~6 u/ \0 X6 n% w8 H
    可以在程序里调用,知道每次运行结束后,balance还剩多少。
    ( B! i8 O8 [4 p, Q9 ]+ j参考:3 W2 R& S" F; O! K# W9 ~- T
    https://api-docs.deepseek.com/api/get-user-balance/ _, ], c  y5 {' G2 I

    ) X3 ?" R# f- V8 F3 }6, Models
    ; @! R, }- M% `* M( u# F& H9 h! l
    目前就两个) k. D7 i' b- ~4 ~: z7 f  I
    # deepseek-chat
    6 B, j/ k& n4 j9 @- ~# deepseek-reasoner
    * G5 c' h2 u3 H. N" b- {$ U5 d& C: K0 F' z/ @* I
    参考:
    8 M) ^+ M; H' o" Rhttps://api-docs.deepseek.com/api/list-models
    " |6 b2 V# ]& v! O0 @4 ~& P1 S, s6 C( g
    . h- _9 E3 q# X) z" D
    7, 问题
    ; T! U  I6 t3 Q2 n% y, m
    # p; b; a0 A1 R. n9 S% xdeepseek 会将前后两段合成一段。- `7 |# {2 V9 A* u* F7 \; P4 w
    特别是那种大量的对话的段落,deepseek会给你合成一大段。1 A! v9 z: q- x6 |

    , L0 n$ i) U4 x* [8, 钱说了算。; ~: X+ R( A" }( d3 z: i

    - g4 Z" ^% H% t" q$ w4 ddeepseek 如果是免费的网页版,有时候会出现超出范围的提示,不干了。
    ! J, T3 X6 k: _4 m& d. P( X, ~5 ~# k) u但是API就不会出现这种情况,毕竟我们给钱了。' f1 G" Z+ U/ z4 S9 F# @* j5 E
    chatgpt也是这样的。
    " P% [6 }) f, h3 y: H" I: y5 l0 ~/ d
    4 H$ n. h9 ^: w. u' L/ F

    评分

    参与人数 2爱元 +14 学识 +2 收起 理由
    唐家山 + 4
    老票 + 10 + 2 给力

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-12-17 06:32 , Processed in 0.048567 second(s), 29 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表