W cyklu kr\u00f3tkich wpis\u00f3w chcieliby\u015bmy przybli\u017cy\u0107 techniczn\u0105 stron\u0119 przygotowywania naszego korpusu. Nam samym informacje tu zgromadzone pos\u0142u\u017c\u0105 dokumentacji projektu, ale mamy nadziej\u0119, \u017ce\u00a0 przydadz\u0105 si\u0119 i pocz\u0105tkuj\u0105cym, a nieco bardziej do\u015bwiadczonych sk\u0142oni\u0105 do dyskusji. Wszystkich zainteresowanych zach\u0119camy do kontaktu<\/a>.<\/p><\/blockquote>\n Punktem wyj\u015bcia tworzenia korpusu jest, oczywi\u015bcie, drobiazgowe planowanie. Gdy zdecydujemy ju\u017c, jakie teksty chcieliby\u015bmy do\u0144 w\u0142\u0105czy\u0107, pozostaje nam przetworzy\u0107 zeskanowane \u017ar\u00f3d\u0142o do tekstu, kt\u00f3ry mo\u017ce sta\u0107 si\u0119 podstaw\u0105 dalszej obr\u00f3bki.<\/p>\n W naszym projekcie pozyskujemy obrazy przede wszystkim z polskich bibliotek cyfrowych. Gdy interesuj\u0105cego nas \u017ar\u00f3d\u0142a w nich brak, skanujemy je samodzielnie.<\/p>\n Polskie biblioteki cyfrowe naj\u0142atwiej przeszukiwa\u0107, korzystaj\u0105c z Wyszukiwarki FBC<\/a>, ale dla polskich \u017ar\u00f3de\u0142 w zagranicznych bibliotekach przydatna jest r\u00f3wnie\u017c Europeana<\/a>. Du\u017co rzadziej korzystamy z archive.org czy Google Books: dost\u0119pne w nich pliki nie zawsze nadaj\u0105 si\u0119 do p\u00f3\u017aniejszej obr\u00f3bki. I nie, nie chodzi tylko o s\u0142awetne artefakty<\/a>…<\/p>\n Konwersj\u0119 do plik\u00f3w graficznych *.tiff zapewniaj\u0105 Uniksowe narz\u0119dzia:<\/p>\n Cho\u0107 programy OCR zawieraj\u0105 ju\u017c cz\u0119sto narz\u0119dzia optymalizacji obraz\u00f3w, a i istniej\u0105 r\u00f3wnie\u017c u\u017cyteczne s\u0142u\u017c\u0105ce temu skrypty, w naszej pracy u\u017cywamy ScanTailora<\/em><\/a>. Program uruchamiamy w linii polece\u0144, jednak ma on i ca\u0142kiem intuicyjny interfejs, dzi\u0119ki czemu nawet mniej do\u015bwiadczeni u\u017cytkownicy nie b\u0119d\u0105 mieli problem\u00f3w z jego u\u017cywaniem.<\/p>\n W poprzednich latach wykorzystywali\u015bmy do rozpoznawania tekstu najpopularniejszego komercyjnego programu, tj. Abbyy FineReader. W nowej edycji postanowili\u015bmy wykorzystywa\u0107 wy\u0142\u0105cznie darmowe oprogramowanie, kt\u00f3re jednak dor\u00f3wnuje jako\u015bci\u0105, a cz\u0119sto i przewy\u017csza rozwi\u0105zania p\u0142atne. Nasz wyb\u00f3r (o jego powodach b\u0119dzie jeszcze okazja napisa\u0107) pad\u0142 na Tesseract<\/a>, wspierany przez Google i wykorzystuj\u0105cy algorytmy g\u0142\u0119bokiego uczenia. Tesseract<\/em> mo\u017cecie, oczywi\u015bcie, wytrenowa\u0107 sami, jednak z repozytori\u00f3w Linuksa i ze strony projektu pobra\u0107 mo\u017cecie gotowe do u\u017cycia dane dla ponad 130 j\u0119zyk\u00f3w i 35 rodzaj\u00f3w pisma<\/a>.<\/p>\n Dla nas, jak mo\u017cna si\u0119 domy\u015bli\u0107, najwa\u017cniejsza jest obs\u0142uga:<\/p>\n Co najwa\u017cniejsze, tesseract<\/em> wcale nie\u017ale radzi sobie z tekstem wieloj\u0119zycznym, a tego w naszych \u017ar\u00f3d\u0142ach nie brakuje:<\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\nSk\u0105d pozyskujemy obrazy \u017ar\u00f3de\u0142?<\/h3>\n
![\"\"](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/error3-300x233.png\")
![\"\"](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/error1-239x300.gif\")
![\"\"](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/error2-300x168.png\")
<\/p>\nCo dalej ze skanami?<\/h3>\n
1. Od PDF\/DJVU do TIFF<\/h4>\n
\n
2. Optymalizacja obraz\u00f3w<\/h4>\n
![\"Okno](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/ScanTailor-300x159.png\")
![\"\"](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/optymalizacja_wyrownanie-300x216.png\")
![\"\"](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/optymalizacja_wybor-203x300.png\")
3. Od obrazu do tekstu<\/h4>\n
\n
![\"Preussisches](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/tess2-300x138.jpg\" "\\"Preussisches")
![\"Akta](\"https:\/\/scriptores.pl\/efontes\/wp-content\/uploads\/sites\/8\/2019\/07\/tess1-300x193.jpg\" "\\"Akta")