Memo of Tesseract OCR with pytesseract
I played Japanese PDF OCR using Tesseract OCR v4 and pytesseract. As a sample PDF, I used Run, Melos! written by Osamu Dazai which has been already under the public domain.
You can pull an example code used in this post from my GitHub repository.
Python
A PDF will be processed by the following order.
- Converting a PDF to a PNG image using the pdf2image library
- Extracting characters from the converted image using Tesseract OCR and pytesseract
- Saving the result in a text file
import re
from datetime import datetime
import pdf2image
import pytesseract
def to_images(pdf_path: str, first_page: int = None, last_page: int = None) -> list:
""" Convert a PDF to a PNG image.
Args:
pdf_path (str): PDF path
first_page (int): First page starting 1 to be converted
last_page (int): Last page to be converted
Returns:
list: List of image data
"""
print(f'Convert a PDF ({pdf_path}) to a png...')
images = pdf2image.convert_from_path(
pdf_path=pdf_path,
fmt='png',
first_page=first_page,
last_page=last_page,
)
print(f'A total of converted png images is {len(images)}.')
return images
def to_string(image) -> str:
""" OCR an image data.
Args:
image: Image data
Returns:
str: OCR processed characters
"""
print(f'Extract characters from an image...')
return pytesseract.image_to_string(image, lang='jpn')
def normalize(target: str) -> str:
""" Normalize result text.
Applying the following:
- Remove newlines.
- Remove spaces between Japanese characters.
Args:
target (str): Target text to be normalized
Returns:
str: Normalized text
"""
result = re.sub('\n', '', target)
result = re.sub('([あ-んア-ン一-鿐])\s+((?=[あ-んア-ン一-鿐]))', r'\1\2', result)
return result
def save(result: str) -> str:
""" Save the result text in a text file.
Args:
result (str): Result text
Returns:
str: Text file path
"""
path = 'result.txt'
with open(path, 'w') as f:
f.write(result)
return path
def main() -> None:
start = datetime.now()
result = ''
images = to_images('run-melos.pdf', 1, 2)
for image in images:
result += to_string(image)
result = normalize(result)
path = save(result)
end = datetime.now()
duration = end.timestamp() - start.timestamp()
print('----------------------------------------')
print(f'Start: {start}')
print(f'End: {end}')
print(f'Duration: {int(duration)} seconds')
print(f'Result file path: {path}')
print('----------------------------------------')
if __name__ == '__main__':
main()
Result
Original Text
メロスは激怒した。必ず、かの邪智暴虐(じやちぼうぎやく)の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮して來た。けれども邪惡に對しては、人一倍に敏感であつた。けふ未明メロスは村を出發し、野を越え山越え、十里はなれた此のシラクスの市にやつて來た。メロスには父も、母も無い。女房も無い。十六の、内氣な妹と二人暮しだ。この妹は、村の或る律氣(りちぎ)な一牧人を、近々、花婿として迎へる事になつてゐた。結婚式も間近かなのである。メロスは、それゆゑ、花嫁の衣裳(いしやう)やら祝宴の御馳走(ごちそう)やらを買ひに、はるばる市にやつて來たのだ。先(ま)づ、その品々を買ひ集め、それから都の大路をぶらぶら歩いた。メロスには竹馬(ちくば)の友があつた。セリヌンテイウスである。今は此のシラクスの市で、石工をしてゐる。その友を、これから訪ねてみるつもりなのだ。久しく逢(あ)はなかつたのだから、訪ねて行くのが樂しみである。歩いてゐるうちにメロスは、まちの樣子を怪しく思つた。ひつそりしてゐる。もう既に日も落ちて、まちの暗いのは當りまへだが、けれども、なんだか、夜のせゐばかりでは無く、市全體が、やけに寂しい。のんきなメロスも、だんだん不安になつて來た。路(みち)で逢つた若い衆をつかまへて、何かあつたのか、二年まへに此の市に來たときは、夜でも皆が歌をうたつて、まちは賑(にぎ)やかであつた筈(はず)だが、と質問した。若い衆は、首を振つて答へなかつた。しばらく歩いて老爺(らうや)に逢ひ、こんどはもつと、語勢を強くして質問した。老爺は答へなかつた。メロスは兩手で老爺のからだをゆすぶつて質問を重ねた。老爺は、あたりをはばかる低聲で、わづか答へた。「王樣は、人を殺します。」「なぜ殺すのだ。」「惡心を抱いてゐる、といふのですが、誰もそんな、惡心を持つては居りませぬ。」「たくさんの人を殺したのか。」「はい、はじめは王樣の妹婿さまを。それから、御自身のお世嗣(よつぎ)を。それから、妹さまを。それから、妹さまの御子さまを。それから、皇后さまを。それから、賢臣のアレキス樣を。」「おどろいた。國王は亂心か。」「いいえ、亂心ではございませぬ。人を、信ずる事が出來ぬ、といふのです。このごろは、臣下の心をも、お疑ひになり、少しく派手な暮しをしてゐる者には、人質ひとりづつ差し出すことを命じて居ります。御命令を拒めば十字架にかけられて、殺されます。けふは、六人殺されました。」 聞いて、メロスは激怒した。「呆(あき)れた王だ。生かして置けぬ。」 メロスは、單純な男であつた。買ひ物を、背負つたままで、のそのそ王城にはひつて行つた。たちまち彼は、巡邏(じゆんら)の警吏に捕縛された。調べられて、メロスの懷中からは短劍が出て來たので、騷ぎが大きくなつてしまつた。メロスは、王の前に引き出された。「この短刀で何をするつもりであつたか。言へ！」暴君デイオニスは靜かに、けれども威嚴を以て問ひつめた。その王の顏は蒼白(さうはく)で、眉間(みけん)の皺(しわ)は、刻み込まれたやうに深かつた。「市を暴君の手から救ふのだ。」とメロスは惡びれずに答へた。「おまへがか？」王は、憫笑(びんせう)した。「仕方の無いやつぢや。おまへには、わしの孤獨がわからぬ。」「言ふな！」とメロスは、いきり立つて反駁(はんばく)した。「人の心を疑ふのは、最も恥づべき惡徳だ。王は、民の忠誠をさへ疑つて居られる。」「疑ふのが、正當の心構へなのだと、わしに教へてくれたのは、おまへたちだ。人の心は、あてにならない。人間は、もともと私慾のかたまりさ。信じては、ならぬ。」暴君は落着いて呟(つぶや)き、ほつと溜息をついた。「わしだつて、平和を望んでゐるのだが。」「なんの爲の平和だ。自分の地位を守る爲か。」こんどはメロスが嘲笑(てうせう)した。「罪の無い人を殺して、何が平和だ。」「だまれ、下賤(げせん)の者。」王は、さつと顏を擧げて報いた。「口では、どんな清らかな事でも言へる。わしには、人の腹綿の奧底が見え透いてならぬ。おまへだつて、いまに、磔(はりつけ)になつてから、泣いて詫(わ)びたつて聞かぬぞ。」「ああ、王は悧巧(りかう)だ。自惚(うぬぼ)れてゐるがよい。私は、ちやんと死ぬる覺悟で居るのに。命乞(いのちご)ひなど決してしない。ただ、－－」と言ひかけて、メロスは足もとに視線を落し瞬時ためらひ、「ただ、私に情をかけたいつもりなら、處刑までに三日間の日限を與へて下さい。たつた一人の妹に、亭主を持たせてやりたいのです。三日のうちに、私は村で結婚式を擧げさせ、必ず、ここへ歸つて來ます。」「ばかな。」と暴君は、嗄(しはが)れた聲で低く笑つた。「とんでもない嘘(うそ)を言ふわい。逃がした小鳥が歸つて來るといふのか。」「さうです。歸つて來るのです。」メロスは必死で言ひ張つた。「私は約束を守ります。私を、三日間だけ許して下さい。妹が、私の歸りを待つてゐるのだ。そんなに私を信じられないならば、よろしい、この市にセリヌンテイウスといふ石工がゐます。私の無二の友人だ。あれを、人質としてここに置いて行かう。私が逃げてしまつて、三日目の日暮まで、ここに歸つて來なかつたら、あの友人を絞め殺して下さい。たのむ。さうして下さい。」 それを聞いて王は、殘虐な氣持で、そつと北叟笑(ほくそゑ)んだ。生意氣なことを言ふわい。どうせ歸つて來ないにきまつてゐる。この嘘つきに騙(だま)された振りして、放してやるのも面白い。さうして身代りの男を、三日目に殺してやるのも氣味がいい。人は、これだから信じられぬと、わしは悲しい顏して、その身代りの男を磔刑(たくけい)に處してやるのだ。世の中の、正直者とかいふ奴輩(やつばら)にうんと見せつけてやりたいものさ。「願ひを、聞いた。その身代りを呼ぶがよい。三目日には日沒までに歸つて來い。おくれたら、その身代りを、きつと殺すぞ。ちよつとおくれて來るがいい。おまへの罪は、永遠にゆるしてやらうぞ。」「なに、何をおつしやる。」「はは。いのちが大事だつたら、おくれて來い。おまへの心は、わかつてゐるぞ。」 メロスは口惜しく、地團駄踏(ぢだんだふ)んだ。ものも言ひたくなくなつた。 竹馬の友、セリヌンテイウスは、深夜、王城に召された。暴君デイオニスの面前で、佳(よ)き友と佳き友は、二年ぶりで相逢うた。メロスは、友に一切の事情を語つた。セリヌンテイウスは無言で首肯(うなづ)き、メロスをひしと抱きしめた。友と友の間は、それでよかつた。セリヌンテイウスは、繩打たれた。メロスは、すぐに出發した。初夏、滿天の星である。 メロスはその夜、一睡もせず十里の路を急ぎに急いで、村へ到着したのは、翌(あく)る日の午前、陽は既に高く昇つて、村人たちは野に出て仕事をはじめてゐた。メロスの十六の妹も、けふは兄の代りに羊群の番をしてゐた。よろめいて歩いて來る兄の、疲勞困憊(ひらうこんぱい)の姿を見つけて驚いた。さうして、うるさく兄に質問を浴びせた。「なんでも無い。」メロスは無理に笑はうと努めた。「市に用事を殘して來た。またすぐ市に行かなければならぬ。あす、おまへの結婚式を擧げる。早いはうがよからう。」 妹は頬(ほほ)をあからめた。「うれしいか。綺麗(きれい)な衣裳(いしやう)も買つて來た。さあ、これから行つて、村の人たちに知らせて來い。結婚式は、あすだと。」 メロスは、また、よろよろと歩き出し、家へ歸つて神々の祭壇を飾り、祝宴の席を調へ、間もなく床に倒れ伏し、呼吸もせぬくらゐの深い眠りに落ちてしまつた。 眼が覺めたのは夜だつた。メロスは起きてすぐ、花婿の家を訪れた。さうして、少し事情があるから、結婚式を明日にしてくれ、と頼んだ。婿の牧人は驚き、それはいけない、こちらには未だ何の仕度も出來てゐない、葡萄(ぶだう)の季節まで待つてくれ、と答へた。メロスは、待つことは出來ぬ、どうか明日にしてくれ
OCR Processed Text
メロスは激怒した。必ず、かの邪智暴上(じゃちぼうぎやく)の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮して來たを。けれども那章に半しては、人一倍に敏感であつた。けょ未明メロスは村を出紙し、野を越え山越え、十里はなれた此のシラクスの市にやつて來た。メロスには父も、母も無い。女房も無い。十六の、内気な妹と二人暮しだ。この妹は、村の或る律舞(りちぎ)な一牧人を、近々、花婚として迎へる事になつてゐた。結婚式も間近かなのである。メロスは、それゆる、和花嫁の衣裳(いしゃう)やら祝宴の御馳走(ごちをそう)やらを買ひに、はるばる市にやつて來たのだ。先(ま)づ、その品々を買ひ集め、それから都の大路をぶらぶら歩いた。メロスには竹馬(ちくば)の友があつた。セリヌンテイウスである。 今は此Mのシラクスの市で、石工をしてゐる。その友を、これから訪ねてみるつもりなのだ。 久しく人逢(ぁ)はなかつたのだから、訪ねて行くのが楽しみである。歩いてゐるうちにメロスは、まちの様子を怪しく思つた。ひつそりしてゐる。 もう既に日も落ちて、まちの暗いのは常りまへだが、けれども、なんだか、夜のせるばかりでは無く、市全骨が、やけに外しい。のんきなメロスも、だんだん不安になつて來た。路(みち)で逢つた若い衆をつかまへて、何かあつたのか、二年まへに此の市に來たときは、夜でも皆が歌をうたつて、まちは賑(にぎ)やかであつた管(はず)だが、と質問した。若い衆は、首を振つて答へなかつた。しばらく歩いて老爺(らうゃ)に逢ひ、こんどはもつと、語勢を強くして質問した。老爺は答へなかつた。メロスは了規手で老爺のからだをゆすぶつて質問を重ねた。老谷は、あたりをはばかる低衣で、わづか答へた。「王様は、人を殺します。」「なぜ殺すのだ。」「悪心を抱いてゐる、といふのですが、誰もそんな、悪心を持つては居りませめぬ。」「たくさんの人を殺したのか。」「はい、はじめは王様の妹婚さまを。それから、御自身のお世識(よっぎ)を。それから、妹さまを。それから、妹さまの御子きまを。それから、和皇后さまを。それから、賢到のアレキス様を。」「おどろいた。國王は負心か。」「いいえ、角心ではございませぬ。人を、信ずる事が出来ぬ、といふのです。このごろは、臣下の心をも、お疑ひになり、少しく派手な暮しをしてゐる者には、人質ひとりづつ差し出すことを命じて居ります。御命令を拒めば十字架にかけられて、殺されます。けふは、六人殺されました。 」聞いて、メロスは激怒した。 「果(ぁき)れた王だ。生かして置けめ。」メロスは、晶純な男であつた。買ひ物を、背負つたままで、のそのるそ王城にはひつて行つた。たちまと彼は、巡漏(じゅんら)の警更に捕縛された。調べられて、メロスの居中からは短剣が出て來たので、騒ぎが大きくなつてしまつた。メロスは、王の前に引き出された。「この短刀で何をするつもりであつたか。言へ ! 」暴君デイオニスは静かに、けれども威滅を以て問ひつめた。その王の顔は蒼白(さうはく)で、眉間(みけん)の鐘(しゎ)は、刻み込まれたやうに深かつた。「市を暴君の手から救ふみのだ。」とメロスは悪びれずに答へた。「おまへがか ? 」王は、翼笑(びんをせうぅう)した。 「仕方の無いやつぢや。おまへには、わしの孤狼がわからぬ。」「言ふな! 」とメロスは、いきり立つて反須(はんばく)した。「人の心を疑ふのは、最も恥づべき悪徳だ。ヨは、民の忠誠をさへ疑つて居られる。」「疑ふのが、正常の心構へなのだと、わしに教へてくれたのは、おまへたちだ。人の心は、あてにならなはい。 人間は、もともと私人徐のかたまりさ。信じては、ならぬ。」暴君は落着いて咳(つぶゃや)き、ほつと潤息をついた。「わしだつて、平和を望んでるるのだが。」「なんの久の平和だ。自分の地位を守る師か。」こんどはメロスが喘笑(てうせう)した。 「罪の無い人を殺して、何が平和だ。」「だまれ、下剛(げせん)の者。」王は、さつと顔を撃げて報いた。「品では、どんな清らかな事でも言へる。わしには、人の腹綿の奥底が見え透いてならぬ。おまへだつて、いまに、礎(はりっけ)になつてから、泣いて諸(わ)びたつて聞かぬぞ。」「ああ、王は便巧(りかうぅ)だ。自惚(うぬぼ)れてゐるがよい。 私は、ちやんと死ぬる算悟で居るのに。命婦(ぃのちご)ひなど決してしない。ただ、一一」 と言ひかけて、メロスは足もとに視線を落し瞬時ためらひ、「ただ、私に情をかけたいつもりなら、雇刑までに三日間の日限を異へて下さい。たつた一人の妹に、亭主を持たせてやりたいのです。三日のうちに、私は村で結婚式を軸げさせ、必ず、ここへ包つて來ます。 」「ばかな。」と暴君は、喝(しはが)れた英で低く笑つた。「とんでもない嘘(うそ)を言ふわい。 逃がした小/夕つて來るといふのか。 」「さうです。旋つて來るのです。」メロスは必死で言ひ張つた。「私は約束を守ります。私を、三日間だけ許して下さい。妹が、私の過りを待つてゐるのだ。そんなに私を信じられないならば、よろしい、この市にセリヌンテイウスといふ石工がゐます。私の無二の友人だ。あれを、人質としてここに置いて行かう。私が逃げてしまつて、三日目の日暮まで、ここに騙つて来なかつたら、あの友人を絞め殺して下さい。たのむ。さうして下さい。 」それを聞いて王は、残虐な気持で、そつと北明笑(ほくそる)んだ。生意気なことを言ふわい。どうせ訪つて挫ないにきまつてゐる。この嘘つきに騙(だま)された振りして、放してやるのも面白い。さうして身代りの男を、三日目に殺してやるのも無味がいい。 人は、これだから信じられぬと、わしは悲しい顔して、その身代りの男を秦刑(たくけぃ)に虎してやるのだ。世の中の、正直者とかいふ奴募(やっぱら)にうんと見せつけてやりたいものきさ。「願ひを、聞いた。その身代りを呼ぶがよい。三目日には日浸までに上包つて來い。おくれたら、その身代りを、きつと殺すぞ。ちょつとおくれて來るがいい。おまへの罪は、永遠にゆるしてやらうぞ。」「なに、何をおつしやる。」「はは。いのちが大事だつたら、おくれて來い。おまへの心は、わかつてゐるそぞ。 」メロスは口惜しく、地圏駄踏(なおだんだぉぁ)んだ。ものも言ひたくなくなつた。竹馬の友、セリヌンテイウスは、深夜、王城に召された。 暴君デイオニスの面前で、佳(ょ)き友と佳き友は、二年ぶりで相逢うた。メロスは、友に一切の事情を語つた。セリヌンテイウスは無言で首衣(うなづ)き、メロスをひしと抱きしめた。友と友の間は、それでよかつた。セリヌンテイウスは、細打たれた。メロスは、すぐに出獲した。 初夏、満天の星である。メロスはその夜、一睡もせず十里の路を急ぎに急いで、村へ到着したのは、翌(ぁく)る日の午前、陽は既に高く、昇つて、村人たちは野に出て仕事をはじめてゐた。メロスの十六の妹も、けふは見の代りに壮群の番をしてゐた。よろめいて歩いて來る兄の、疲替困付(ひらうこんばぱい)の姿を見つけて驚いた。さうして、うるさく見に質問を浴びせた。「なんでも無い。、」メロスは無理に括はうと努めた。 「市に用事を残して來た。またすでぐ市に行かなければならぬ。あす、おまへの結婚式を撃げる。早いはうがよからう。 」妹は類(ほほ)をあからめた。「うれしいか。 綺麗(きれぃ)な衣裳(いしゃう)も買つて來たを。さあ、これから行つて、村の人たちに知らせて來い。結婚式は、あすだと。」メロスは、また、よろよろと歩き出し、家へ由つて神々の祭壇を飾り、祝宴の席を調べへ、間もなく床に倒れ伏し、呼吸もせぬくらゐの深い眠りに落ちてしまつた。眼が算めたのは夜だつた。メロスは起きてすぐ、花婚の家を訪れた。さうして、少し事情があるから、結婚式を明日にしてくれ、と頼んだ。婚の牧人は息き、それはいけない、こちらには未だ何の仕度も出來てゐない、和攻略(ぶだうぅ)の季節まで待つてくれ、と答へた。メロスは、待つことは出來ぬ、どうか明日にしてくれが旬
About Diff
Because the Python script removes newlines, diff might not be a suitable tool for comparison.
Instead, I recommend using GUI diff tools such as Araxis Merge or WinMerge.
Conclusion
I think that the result is useful under certain situations and the accuracy of Tesseract OCR will continue to drastically improve over time. However, the accuracy may decrease if PDFs include complex layouts such as diagrams, tables and so on.
