Categories of gathered contents

[dg1223]

Hi everyone,

A major part of the effort is to extract contents from all the PDFs. Below is an analysis of which books or articles are in image format, which are text-based, and how many are written in Bangla or English.

Most of the files are scanned copies of books. So, they contain image-based content. As a result, Bangla OCR or its alternatives will play a big role in data extraction. Some of the books are in text format. There are some image-based PDFs which contain additional watermarks as overlays. We may need to use some kind of watermark removal tool before trying to parse their content.

I believe Abir (@mir-abir-hossain) will provide you further instructions on how to start this work (data extraction) in an organized manner. I think most of us can help with this task. Some of you have already started working on the RAG architecture in parallel, which is encouraging.

Sources
Google drive link
Some original text-based versions

Content analysis

Google doc

Text (9)

Bangla (4)

(OCR may still be needed because of parsing issues with Bangla text)

অরক্ষিত স্বাধীনতাই পরাধীনতা
মা
মূলধারা _ '৭১ (mainly ‘juktakkhors’ are not parsable as text)
স্বাধীনতা উত্তর বাংলাদেশ

English (5)

A Stranger in My Own Country
The Betrayal of East Pakistan (original English version)****
The Black Coat
লক্ষ প্রাণের বিনিময়ে (A Tale of Millions)
Bangladesh A Legacy of Blood (original English version)**

Image (62)

Bangla (49)

৩রা নভেম্বর জেল হত্যার পূর্বাপর - শারমিন আহমেদ
১৯৭১-গণহত্যা ও নির্যাতন - মুনতাসীর মামুন
১৯৭১-ভেতরে বাইরে
Bangladesh A Legacy of Blood (Bangla translation)
amar_dekha_rajnitir_50_bochor
Inside Raw
The Betrayal of East Pakistan (Bangla translation)
অলাতচক্র
আওয়ামী লীগ- যুদ্ধ দিনের কথা- ১৯৭১
আত্মসমর্পণের সাক্ষী - সিদ্দিক সালিক, উইটনেস টু সারেন্ডার (only punctuations are texts)
আমরা হেটেছি যারা
আমার দেখা রাজনীতির ৫০ বছর
আমার ফাসি চাই
আমার সৈনিক জীবন - পাকিস্তান থেকে বাংলাদেশ - মে. জে. মনজুর রশীদ খান (অব.)
আমি বিজয় দেখেছি
আমি বীরাঙ্গনা বলছি
*আমি মেজর ডালিম বলছি (text-based content but probably not parsable)
আমিই খালেদ মোশাররফ - এম আর আখতার মুকুল
আলো আঁধারের যাত্রী (bad quality)
ইতিহাসের কাঠগড়ায় আওয়ামীলীগ
এক জেনারেলের নীরব সাক্ষ্য
একাত্তরের দিনগুলি
একাত্তরের মুক্তিযুদ্ধ, রক্তাক্ত মধ্য আগষ্ট ও ষড়যন্ত্রময় নভেম্বর
কর্নেল হুদা ও আমার যুদ্ধ - নীলুফার হুদা
জাসদের উথান পতনঃ অস্থির সময়ের রাজনীতি
জোছনা ও জননীর গল্প - হুমায়ূন আহমেদ
ডেটলাইন বাংলাদেশ - সিডনি শনবার্গ
তাজউদ্দিন আহমেদ নেতা ও পিতা
তিনটি সেনা অভ্যুত্থান ও কিছু না বলা কথা
দাম দিয়ে কিনেছি এই বাংলা - জাফর ইমাম, বীর বিক্রম
দ্যা রেইপ অব বাংলাদেশ
প্রতিনায়ক সিরাজুল আলম খান
ফাঁসির মঞ্চে কর্ণেল তাহের- আনোয়ার কবির
বঙ্গবন্ধু শেখ মুজিবকে ঘিরে কিছু কথা ও বাংলাদেশ -এম এ ওয়াজেদ মিয়া
বঙ্গবন্ধুর স্বদেশ প্রত্যাবর্তন ও শাসনকাল ১৯৭২-১৯৭৫ - প্রফেসর ড. মোহাম্মদ আখতার হোসেন
বঙ্গবীর ওসমানীর সাথে কথোপকথন - মেজর মো মোখলেসুর রহমান
বঙ্গভবনে মোশতাকের ৮১ দিন - আবু আল সাঈদ
বলেছি বলছি বলবো
বাংলাদেশ রক্তাক্ত অধ্যায় ১৯৭৫-১৯৮১- বি জে সাখাওয়াত
বাংলাদেশের রাজনৈতিক ঘটনাপঞ্জি ১৯৭১-২০১১- মুহাম্মদ হাবিবুর রহমান
বেলা অবেলা
মার্কিন দলিলে মুজিব হত্যাকান্ড
মুক্তিযুদ্ধ ও তারপরঃ একটি নির্দলীয় ইতিহাস - গোলাম মুরশিদ
মুক্তিযুদ্ধ কেন অনিবার্য ছিল
মুক্তিযুদ্ধের পুর্বাপর কথোপকথন - এ কে খন্দকার,মঈদুল হাসান,এস আর মীর্জা
যা দেখেছি যা শুনেছি যা করেছি
রক্ষীবাহিনীর অজানা অধ্যায়
রাইফেল, রোটি, আওরাত
সৈনিক জীবন - গৌরবের একাত্তর রক্তাক্ত পঁচাত্তর - মেজর (অব.) হাফিজ উদ্দিন আহমেদ বীর বিক্রম

Watermarked (12)

উষার দুয়ারে - আনিসুল হক
ক্রাচের কর্নেল
গঙ্গাঋদ্ধি থেকে বাংলাদেশ
চরমপত্র - এম আর আখতার মুকুল
দেয়াল- হুমায়ুন আহমেদ
নিষিদ্ধ লোবান - সৈয়দ শামসুল হক
বাংলাদেশের জন্ম
বিএনপি সময় অসময়
যারা ভোর এনেছিল
লাল সন্ত্রাস
সাক্ষী ছিলো শিরস্ত্রাণ
হাঙর নদী গ্রেনেড (includes hidden text overlay)

English (1)

Surrender at Dacca - Birth of a Nation

Our constitution (2)

(May need to be processed/prompted separately)

Bangla (2)

বাংলাদেশের সংবিধান (old) - Image
***বাংলাদেশের সংবিধান (2010) - Text

***may include the amendments up to 2010

*Need another review
**Download link
****Download link