设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2409|回复: 17
打印 上一主题 下一主题

[工程技术] 利用 Deepseek 抓取PDF的文字并矫正。

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-2 03:35:19 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2025-2-6 22:17 编辑
9 _- S4 h2 ]0 @
) }0 c" u# F, e9 X把PDF上传,然后让他抓取文字,并修改可能的错误。
/ O/ q5 H$ F% k! r' E' r6 r然后deepseek完美的完成了任务。
+ \7 p8 f: r7 E段落清楚,列清楚,页眉页脚全部去掉。
: C+ |" N3 H/ x7 N! p) \5 i我要疯掉了!
6 A$ f5 \/ Y& I2 M赶紧把自己那些成年老书给搬出来,deepseek,这是党和人民考验你的时候了!
  n; F* E* D* R; b====
7 c1 b, `( T) f3 P中文也很完美。( K( \+ P( I* B$ |  m  S
经验值,每次十页比较稳定。
9 q9 Y+ d& `" |! u$ R4 m' S现在我这里API还不能用,等恢复了,全自动了。6 {* Z0 v% s4 x) h
====: o: J9 Q1 r, [4 A' ~
第二次疯掉了!
4 h" \  t  b  C- b+ B: Q我上传英文文件后,让他抓取文字,矫正,然让他按页划分,前面放英文,后面放中文,结果仍然完美。4 S% T- k" u2 i+ S- n
====
  \  d) Z/ h! N6 }& P9 i& ^7 A现在我让他从PDF抓取文字,矫正后,按段落翻译,可以一次翻译多个段落,每次翻译不超过一个固定数目,结果仍然完美。
" _- }/ R& {" K; Z$ `0 O但是任务多了后,每次翻译的页面数是减少的。
4 L% z4 D" r! q5 D' h, a2 L好吧,我五体投地,继续探索。
; J. {. o1 l' j3 h  y$ z====
3 O3 H1 w% e- W; F为了防止中间结束,可以告诉他必须所有页面全部处理完就可以了,我现在是应该佩服我自己呢还是应该佩服 deepseek 呢,抑或都佩服。7 z' B- B: {" C' Y! o2 V. |
====" V  o3 \+ M5 o8 @& W
好吧,有些东西是不给翻译的,哈哈。' U4 M; x0 O6 l$ A7 Z$ F

; J  d6 j& R# |# p1 ]/ j2 MSorry, that's beyond my current scope. Let’s talk about something else.
: X: l4 {8 X6 K' m" `" s====
4 o3 i& a) O7 g4 G3 I. u5 R& w然后我的英文命令也让deepseek 帮我修改,呵呵。
' H  I; ^: m8 `  X. G" ^====3 n( {  H( X( l3 C
日语的文本他也可以处理,过程一模一样的。问题也是一模一样的,假名太多,汉字很少,我不懂日语,翻出来都不知道对不对。
  t6 P: d; V) u" W( K====
3 Q( n3 b2 t! }$ Q6 \时间段的话,北京时间的下午和晚上用比较好。) j' g* X2 k8 X  m+ M
后半夜和早上,美国人上班了,要么在用,要么在黑客攻击。* v+ P% p- U" C3 c3 ]
====5 ]; [1 }& K2 {7 h2 q
用千问吧,非常稳定,非常强大。
. P# r6 a/ q8 ghttps://chat.qwenlm.ai/, ^/ B, Z0 F/ f7 Y* d! {
====
( r9 |4 {% ~, s3 x0 \Deepseek,API 看上去可用了,但是不给充钱。! I$ R$ u4 v$ g; N6 e2 y

/ d$ K0 c9 B* L% L" w' w! q# B* E! N: I: f, d4 A2 f! e( O1 D

- Y/ u7 C7 ~# d$ }; K% g( v. W# O4 M

评分

参与人数 11爱元 +102 学识 +2 收起 理由
testjhy + 10
johnsonjian + 10
helloworld + 10
laser + 10
笑羽 + 10

查看全部评分

  • TA的每日心情
    开心
    4 小时前
  • 签到天数: 3637 天

    [LV.Master]无

    沙发
    发表于 2025-2-2 03:53:32 | 只看该作者
    这功能很赞呀

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2025-2-2 03:56:21 | 只看该作者
    马鹿 发表于 2025-2-2 03:53
    / J9 V4 s1 G0 E" I这功能很赞呀

    - |) q7 s: y; M/ T# g1 |2 x简直太赞了,我现在正在思考还有什么工作需要 deepseek 干的,现在的上限是我的上限,不是 deepseek 的上限。

    点评

    给力: 5.0 油墨: 5.0
    油菜: 5.0
    油墨: 5 油菜: 5
      发表于 2025-2-2 08:23
    给力: 5
      发表于 2025-2-2 04:41

    评分

    参与人数 2爱元 +20 收起 理由
    笑羽 + 10
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-1-1 00:00
  • 签到天数: 793 天

    [LV.10]大乘

    地板
    发表于 2025-2-2 04:13:28 | 只看该作者
    有没有上传整本书试试
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
     楼主| 发表于 2025-2-2 04:27:15 | 只看该作者
    indy 发表于 2025-2-2 04:13" D: F/ ^% x/ b' w4 `: L1 Y
    有没有上传整本书试试
    ) O" U( v8 r, P1 ~& ^
    目前看来,差不多十页左右就停止了,看看还有什么诀窍不。

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10 谢谢分享

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    4 小时前
  • 签到天数: 3637 天

    [LV.Master]无

    6#
    发表于 2025-2-2 04:41:51 | 只看该作者
    本帖最后由 马鹿 于 2025-2-1 15:43 编辑
    + `, u. S3 x4 J5 z# o- E7 W  y+ i: l2 q8 ?3 ?, x
    以后让deepseek 读出土的竹简
    0 w9 k! [% f: h5 \, C
    * }1 b' f' C2 a& R; X3 S还有把古文翻译成现代白话: {/ U0 R0 C4 q
    + L7 ]. t& M  m. g1 {7 }
    以后不认识的字不查字典了, 直接问deepseek
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2 小时前
  • 签到天数: 2799 天

    [LV.Master]无

    7#
    发表于 2025-2-3 01:23:54 | 只看该作者
    请教是如何实现的?3 t# G7 ?% z! _* h8 ~

    . K) [% j# Z9 `" ^0 h8 X我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后,发出指令提取文件中文字,始终是文件解析中。直接在DS里问如何上传PDF文件,并提取文件中文字,照做其实是一样的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
     楼主| 发表于 2025-2-3 03:06:35 | 只看该作者
    方恨少 发表于 2025-2-3 01:23! i6 O+ ?$ X0 }; j- U- P
    请教是如何实现的?6 d$ p( J- d8 v8 W) h$ r0 r. N1 ?
    / @5 ~; r# [% l# C+ F* S
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...

    , ?% ]* j5 \' O, n% g2 w# m
    % o3 m+ z+ @! G3 ]' L$ X. M我现在也上载不了了,"upload failed",几个小时前还好好的,应该是服务又受攻击所以功能收缩了。" O/ T4 Y3 ?+ x: D6 W" O' k5 U( e/ n
    文字之类的没问题。估计deepseek现在暂时只保证主要功能。7 Y$ }1 |, w! c0 ~$ Y1 Q
    美国人就这样,打不过就耍流氓,估计要等一段时间才能完全恢复。
    + H2 F+ o4 m* z+ q

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2025-2-3 03:40
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-5 00:15:37 | 只看该作者
    方恨少 发表于 2025-2-3 01:23
    6 A  P6 M6 {' q/ U请教是如何实现的?$ E8 b+ Y; ]/ i1 K
    0 _" W" Y# t8 c% l' G3 Z
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...

    4 J: ~* p+ M* t- b- }; Bhttps://chat.qwenlm.ai/
    ( P  ]& J, i+ B4 l- R% \4 o! o( \试一下千问,估计美国人没有攻击他,所以资源敞开用。) ]# h( x0 L  G1 u
    很稳定,质量不错,好像最多一次处理15页。% v9 y0 s* c& e7 G, c5 s; q$ O1 t
    我直接拿deepseek的指令用,没有区别。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    4 小时前
  • 签到天数: 2915 天

    [LV.Master]无

    10#
    发表于 2025-4-16 17:01:29 | 只看该作者
    试了这个工具,可以转成markdown,正确率很高,有漏行,图片会放在一个指定的目录下。
    ( ]! i$ q4 E2 e$ G- G/ t处理一本100页左右的扫描版本的中文PDF,一份某行业的接口标准,纯CPU,几分钟时间。
    # E3 d$ F, y) k3 f6 I$ D这个工具不能处理表格,我把文件拖到豆包里,“把这个文件中的表格转换成 markdown。只是表格,不需要其它内容”,表格多的话,要发好多次“请继续”。
    , N9 p, E+ S  i: {5 L  d0 `) k6 Q) }" h0 ]% a% y
    https://github.com/oomol-lab/pdf-craft" g$ j" }6 O: k# @) C/ f3 _4 v- O
    4 Y- p% V8 M/ N: X) t8 f: g+ s
    1. 这个工具要求装 python3.10& F$ J" Z9 Y6 `% v# m* U& R. S$ C& v
    2. pip install onnxruntime==1.21.0, 有英伟达的卡:pip install onnxruntime-gpu==1.21.0
    4 M& e' E7 Z( H3. pip install pdf-craft5 O# f+ l# Y7 c" K9 ?, q
    4. 把下面的内容写到一个文件里,例如 a.py7 O' v2 u% Y9 w, `. `
    1 W4 H+ @9 V1 r
    1. from pdf_craft import PDFPageExtractor, MarkDownWriter' x: {: g7 R4 _% H. E1 o

    2. # `* _# V- |9 F! P4 ^
    3. extractor = PDFPageExtractor(
      3 s( `+ p. O" \9 W8 g6 [6 t
    4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
        q5 x& h/ L6 v# |
    5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
      & l' e8 H+ G  P, k* \+ z6 V
    6. )$ {& F! N4 N1 l2 t
    7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
      3 @+ b3 n' Q# `
    8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
      8 l8 Z+ O; k" ^2 v# I9 }( `! K
    9.     md.write(block)
    复制代码
    . _( m/ R" q* O$ H0 r0 Q  E- C

    6 o) q5 ]0 p: s" A要修改的内容:9 I  P' s3 ?1 M5 s' X5 {0 B
    4.1 /path/to/model/dir/path:存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型,国内的要科学上网,国内的镜像上没这个模型
    , ]) M3 y4 D$ C) X4.2 markdown_path:输出的 markdown 路径文件名
    / F% P5 P+ d. r2 C# [4.3 /path/to/pdf/file: 输入的源PDF路径文件名5 E, X3 ]4 ^4 B1 R( E/ {
    * P/ _4 H- N. U
    5. 运行 python3 a.py

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
     楼主| 发表于 2025-4-16 19:47:30 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-16 19:50 编辑
    : O. M0 y  k) b' ?* O: @
    . r' G' V" {4 y8 E" S目前为止PDF转纯文字的最佳办法。8 C2 Y" n3 V) I7 |. Z
    先写个小程序,把PDF按章节切成小的PDF。0 R. q( E+ E+ m/ z
    然后,把PDF一个个传到deepseek,让她抓取,除错,输出。9 c. E6 V' p8 p- c& Y
    效果非常好。: n/ _0 v& ~6 E1 S' r9 y4 l
    " _6 T* Z- S5 D0 _* D' y7 ]+ N% W
    deepseek,qwen,chatgpt 三个,deepseek是最好的。- W( G9 x% a8 H6 z) @

      Z9 N9 |! w2 a) Rdeepseek 把页脚页眉页号全给去除干净了,跨页的段落也给你修好了。$ G& P6 |. u0 R0 v9 S  z
    而且deepseek不会加戏,chatgpt有时候会想当然的加上没有的文字,让句子看上去想那么回事。, ]" e% x6 O1 C# ]1 z& a  q
    我曾经修一个历史文章,chatgpt给我活活加了三段,真是文豪。4 J' H3 k- M  ]* S" t' s
    9 m9 q. k( u- }3 v1 p+ _
    API到目前为止,差强人意,不如网页版本修得干净。, d$ B7 D% J# B

    4 _# h6 p* ^! Ddeepseek可以同时开四个。
    8 e: d) w* c- n# Y

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    12#
    发表于 2025-4-17 12:26:23 | 只看该作者
    本帖最后由 三力思 于 2025-4-17 12:27 编辑
    7 k% [$ Y3 ?3 v! R3 P2 D# G4 b6 G% l. z! P# g$ P
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
     楼主| 发表于 2025-4-17 16:33:20 | 只看该作者
    三力思 发表于 2025-4-17 12:26
    : Z" J  D# E2 d3 H. v让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL ...
    9 U4 Y3 u  Y% v) C, Z, m
    细说一下,听上去很不错,多谢。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2025-4-17 21:22:24 | 只看该作者
    nanimarcus 发表于 2025-4-17 16:33
    : u& B) E2 H: g0 l) b$ E细说一下,听上去很不错,多谢。
    : I) s, ~" v7 o3 A# u$ ?$ _
    直接问DS,“用C#,JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-4-17 21:55:57 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-18 15:39 编辑 8 }! y% x/ T3 Q( T* M. u

    # h& w: U: P' z' z. ]" [2 T已经搞定.
    2 g1 V/ S! Q/ ]; `+ y
    4 n+ o+ H2 W1 c5 J# i0 z首先 PDF 本身已经OCR了,Adobe Acrobat Pro中自带这个功能。
    ) H+ W1 Q" A4 F# r* ^1 J5 y3 [3 E7 U* R. a6 _
    1, python + pypdf 按章节拆分小的PDF2 x8 \: f4 X' G, ?
    : i; ]# o5 }# i& v3 t
    2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile$ g6 _: b" Z4 L( l3 g8 r. \

    / {- B2 i7 I' A得到text file5 W8 f7 o# A& P. L6 N0 R
    9 y, n. N) Z7 }7 n& c( `/ h. o
    3, python 读取整个outputfile,丢给deepseek 矫正。
    . T5 ^2 L9 H% U  |. O( p) e2 F! G1 G. m8 A) a  Y: t& W  i
    模型是 deepseek-chat. f) F& d5 c. A4 D) l% T5 S

    : f5 @6 O. O$ \max_tokens 最大是 8192,别的不用改。
    9 x+ L) O+ _2 w: P& ]- W
    & n4 j4 K; r2 n7 I7 Z/ b参考:
    8 G9 m7 ^1 ~- U7 Fhttps://api-docs.deepseek.com/api/create-chat-completion
    & B/ {* T* N4 g% J
    2 V6 k- H7 G5 E& e% @, _: L4,费用:
      B/ v. _% l3 C8 b( X1 F
    0 h  j! @3 n9 d0 ~  H" }2 t实测:
    7 p# K7 W+ I1 w, O% O  z
    + i" r/ X0 k1 b( }# l; E296K 字母,用了 9 美分。5 w* e& Y6 M* V4 C

    ' o- M* C" L" j4 v# e6 z) l) `! R) g英文字母 到 token 用量大约 1/3, S# [/ L; i2 S
    . |1 f6 V. m! y2 ~0 k( Z
    tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899
    ' `- K0 w/ O9 W4 U  v- q0 B
    , z6 G# ~& \0 H0 |. q32899 个字母花费 11782 tokens,包含输入输出的 tokens! Q' @( U: h4 `4 I5 Z0 Y
    7 D2 K' ~+ A" M' C9 F% E0 T7 G5 t
    价钱,非常非常便宜了。8 g. {# W, W: {% L

    ( ^9 h+ A4 u% f6 l$ A/ W参考如下可以计算,懒得算了。" ]% j: G, G9 P7 X# B$ a
    ! h5 R3 Q6 d/ {* M
    https://api-docs.deepseek.com/quick_start/pricing
    3 q8 L- `) h# R- s  [: S! c+ _9 ?* [; U. o- W  S* S1 ^& k0 p0 f! e" }
    1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
    + y' q7 S- j0 J2 D2 ^( ]' C1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55; X5 v$ n' M2 }- S" V
    1M TOKENS OUTPUT(5)                                              $1.10                $2.19
    : U, s; C) n7 [$ I+ F
    . E/ r5 H0 I0 N$ L5, Balance7 W0 h% S6 i/ h  v

    6 {$ P3 A" a% B# `- y1 B. A可以在程序里调用,知道每次运行结束后,balance还剩多少。9 g4 h) T& D3 s' C$ E
    参考:) j: \. u: w1 E( w& g2 D9 s# U
    https://api-docs.deepseek.com/api/get-user-balance* T) M1 q  z" k6 L6 ^! `

    % v& {8 @1 L) R/ h4 k6, Models
      C( p0 r/ t% H! ]4 f2 r- ^
    0 P$ W5 G3 d; k0 A0 y" f目前就两个
    $ S( m* y" W8 s, B+ e# deepseek-chat- q2 I9 Y, R) N& u2 O, w5 z
    # deepseek-reasoner
    : f* d# {" {/ A% z( v- g  |* {/ h. L4 {6 I. v( m' l! \7 m
    参考:3 Q6 p) s( y7 b: M
    https://api-docs.deepseek.com/api/list-models  h& ~+ \4 i& W0 a. I5 F/ @6 \
    " k$ Q5 \: E3 H  Q* G3 n
    / c( O5 ?9 [" o; p1 S
    7, 问题
    ! |  n0 }1 p! W$ g( ?" z8 j) P- B- {
    deepseek 会将前后两段合成一段。$ w1 y( L2 a6 \2 N/ c8 t( Y9 K
    特别是那种大量的对话的段落,deepseek会给你合成一大段。
    9 `/ J& c* [# f: Z
    & s  h$ L! `: Z) e3 T/ f8, 钱说了算。
    , ~. Q$ q; [) ^( D
    $ V! b; Q) X& O, Pdeepseek 如果是免费的网页版,有时候会出现超出范围的提示,不干了。
    % ?# Q+ i. V& L4 z. \但是API就不会出现这种情况,毕竟我们给钱了。: f4 i" g! _/ r& e6 _
    chatgpt也是这样的。  h. n# \! m5 e& L

    3 @/ o% T, N$ \0 g7 }* {4 ?+ ~" `: R) ^: U( M& e/ d8 ]/ G

    评分

    参与人数 2爱元 +14 学识 +2 收起 理由
    唐家山 + 4
    老票 + 10 + 2 给力

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-12-17 04:46 , Processed in 0.037761 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表