``

Building Myanmar's AI Future

MyMind AI Company Limited is committed to developing impactful AI technologies for Myanmar. It is developing Burmese language models, public data, reliable AI performance evaluation standards, and practical AI solutions for the community and business sectors.

Understanding the Technologies Shaping Our Future

Explore the latest developments in artificial intelligence and understand how emerging technologies can create new opportunities for Myanmar.

Read More
Generative AI

Generative AI

What Is Generative AI?

Generative AI (Gen AI) is a type of artificial intelligence that learns patterns from data to create content such as text, images, audio, video, and computer code. Guided by instructions known as prompts, these systems generate responses based on learned patterns and the context provided by users.

Its applications range from drafting documents and summarizing reports to translating languages, developing visual concepts, and assisting with software development. For example, a Burmese-language assistant can help prepare an announcement, explain a complex topic, or produce a translation draft for review.

Generative AI can support creativity and productivity, but its outputs may contain errors, biases, or misleading information. Effective use combines clear instructions, appropriate data protection, and human review to ensure that results are accurate, relevant, and suitable for their intended purpose.

Common Applications of Generative AI

Generative AI supports a wide range of creative and practical tasks, helping individuals and organizations turn ideas and information into useful content.

Text and Content Creation

Generative AI can draft articles, announcements, emails, and social media posts. It also helps refine writing style and adapt content for different audiences.

Translation and Summarization

AI tools can produce translation drafts and condense lengthy documents into concise summaries. Human review helps preserve meaning, terminology, and cultural context.

Image and Design Generation

Text prompts can guide the creation of illustrations, marketing visuals, and design concepts. These tools help designers explore ideas and develop initial drafts.

Audio and Video Generation

Generative AI can create narration, synthetic speech, music, and video content. Applications include educational materials, presentations, and public information campaigns.

Software Development

Coding assistants can suggest code, explain functions, generate documentation, and help identify potential errors. Developers remain responsible for testing, security, and the quality of the final software.

Conversational Assistance

AI assistants can answer questions, explain topics, and help users navigate information. When connected to approved knowledge sources, they can also support customer enquiries and internal knowledge access.

Across these applications, effective use requires appropriate data protection and human review to ensure that outputs meet their intended purpose.

Source A Survey of Generative AI Applications (2023) https://arxiv.org/abs/2306.02781?

Read More →
Large Language Models

Large Language Models

Follow advances in multilingual and low-resource language models, including technologies designed to understand and generate high-quality Burmese content.

Read More →
Responsible AI

Responsible AI

Learn about AI safety, transparency, privacy, fairness, governance, and the responsible deployment of intelligent systems.

Read More →

Building the Foundation for Myanmar's AI Ecosystem

Burmese LLM Evaluation Dataset

Most AI language models are trained mainly on English and a few other big languages. Very few tests exist to check how well they work in Burmese.


We built a Burmese evaluation dataset, had it checked by human reviewers, and used it to test four small, open AI models on everyday language tasks.

The dataset follows the format and task list of SEA-HELM, the Southeast Asian language benchmark from AI Singapore, so our results can be compared with other Southeast Asian languages.



How the Evaluation Data Was Created

We built the data in four steps:

Step 1 – Start from SEA-HELM (source data). We downloaded the SEA-HELM datasets. Some tasks already have Burmese items, for example sentiment, toxicity and instruction following. We kept all of them.

Step 2 – Add more Burmese data (extended data). To make the tests bigger and more varied, we added public Burmese data: FLORES+ translation sentences, a Burmese sentiment dataset and two Burmese hate-speech datasets from Hugging Face.

Step 3 – Translate what is missing. Some SEA-HELM tasks have no Burmese items. We translated them from Thai, Indonesian, Tamil, Vietnamese, Chinese, Tagalog or English using Gemini. Items that only make sense in another country's culture were not translated.

Step 4 – Check by hand. Human reviewers checked the items, gave each one a score and corrected mistakes (see “Human Review” below).


Examples from the Dataset

Here are some real items from the dataset. The English line is a translation to help readers.

Task: Sentiment analysis

example:မိုးအေးအေးနဲ့ အိမ်ထဲမှာ ကော်ဖီပူပူလေးသောက်ရင်း စာဖတ်ရတာ အရမ်းဇိမ်ရှိတာပဲ

“Reading at home with a hot coffee on a cool rainy day is so relaxing.”

Correct Answer: Positive

Task: Machine translation

Example: English: 28-year-old Vidal had joined Barça three seasons ago, from Sevilla.

Burmese reference: အသက် ၂၈နှစ်အရွယ် ဗီဒယ်လ်သည် လွန်ခဲ့သော သုံးရာသီတွင် ဆီဗီးလားမှ ဘာကာသို့ ပြောင်းလာခဲ့သည်။

Model's translation is compared with the reference

Task: Causal reasoning

Example: ထိုပစ္စည်းကို လေဖောင်းပလတ်စတစ်ဖြင့် ထုပ်ပိုးထားသည်။ (အကြောင်းအရင်း)

“The item was packed in bubble wrap.” What is the reason? (A) The item is fragile. (B) The item is small.

Correct Answer: A


Human Review (Manual Verification)

Machine translation and automatic tools can make mistakes, so human reviewers from our QC team checked the data in Excel review sheets. They read each item and gave it a score from 1 to 5 for each of these points:

  • Completeness: nothing is missing from the text, question or answer.
  • Fluency: the Burmese reads naturally and smoothly.
  • Sensibility: the item makes sense and is logical.

Text clearance: correct spelling and font, and no Zawgyi (old Burmese encoding) problems.

Some tasks had extra points. Translation was also scored for grammar and faithfulness to the original meaning. Summaries were scored for relevance and coherence, and instructions for clarity. Reviewers also marked whether the given answer or label was correct (yes or no). When an item had a problem, they wrote a corrected version and a comment.

On the 1 to 5 scale, 5 means fully correct and natural, 4 means mostly good, 3 means partly good, and 1 or 2 means serious problems.


How We Tested the Models

We tested four small open models that can run on a single GPU:

Gemma-4-E2B-it (Google)

Gemma-SEA-LION-v4.5-E2B-IT (AI Singapore, built on Gemma)

Qwen3.5-4B (Alibaba)

Llama-3.2-3B-Instruct (Meta)

Each model was run with three different generation settings (fixed, shared, and each maker's recommended setting). This shows whether a score comes from the model itself or only from the setting. The scoring methods were adjusted for Burmese, which has no spaces between words, so we count characters or syllables instead of words. For multi-turn chat, an AI judge (Gemini) rated each answer from 1 to 10.


Results

The following list shows each model's average score over the three settings. Higher is better.


Sentiment Analysis (Accuracy) Gemma - 76%, SEA-LION-76%, QWEN- 25%, LLAMA-1%

Machine Translation (chrF) Gemma - 49.6%, SEA-LION-49.8%, QWEN- 29.6%, LLAMA- "-"

Question Answering (Char-F1) Gemma - 45.7%, SEA-LION-44.1%, QWEN- 32.9%, LLAMA- "-"

Metaphor understanding (Accuracy) Gemma - 74%, SEA-LION-73%, QWEN- 51%, LLAMA-47%

Instruction following (Pass rate) Gemma - 70%, SEA-LION-67%, QWEN- 44%, LLAMA-25%

Multi-turn chat (Judge score /10) Gemma - 5.5%, SEA-LION-5.5%, QWEN- 2.1%, LLAMA-1.1%

Summarization (ROUGE-L) Gemma - 17.6%, SEA-LION-17.6%, QWEN- 13.3%, LLAMA-"-"


“–” means the model was not tested on that task. Results for reading, toxicity, inference and causal reasoning, and for the four new datasets, will be added later.


Key findings

  • Gemma and SEA-LION are clearly the best for Burmese and score almost the same on every task. Qwen is weaker, and Llama is the weakest.
  • The ranking is real. It stayed the same under all three generation settings. The settings only made a small difference in open-ended chat.
  • Even the best models have gaps. They rarely detect neutral sentiment, they write summaries that are too long, they struggle with exact rules such as “end with this phrase”, and they reach only about 5.5 out of 10 in conversation.
  • Smaller is faster, not better. Llama and Qwen use less memory (2.5 GB and 3.4 GB) and run faster, but Gemma and SEA-LION (about 6.9 GB) give much better Burmese answers.


Next Steps

  • Apply the reviewers' corrections, starting with the question-answering and reading datasets.
  • Review the Burmese grammar dataset with a Burmese linguist.
  • Test the models on the four new Burmese datasets.
  • Add the results for the remaining four tasks.


References

These are the published research papers behind the benchmark, data and scoring methods used in this work.

Benchmarks and datasets

1.Susanto, Y. et al. (2025). SEA-HELM: Southeast Asian Holistic Evaluation of Language Models. arXiv. https://arxiv.org/abs/2502.14301

The benchmark our dataset follows.

2.Bandarkar, L. et al. (2024). The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants. ACL 2024. https://arxiv.org/abs/2308.16884

Source of the multiple-choice reading task.

3.NLLB Team (2022). No Language Left Behind: Scaling Human-Centered Machine Translation. arXiv. https://arxiv.org/abs/2207.04672

Introduced the FLORES-200 translation benchmark, which FLORES+ is based on.

Evaluation methods

4.Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. WMT 2015. https://aclanthology.org/W15-3049

Translation score (chrF).

5.Rei, R. et al. (2020). COMET: A Neural Framework for MT Evaluation. EMNLP 2020. https://aclanthology.org/2020.emnlp-main.213

Translation score (COMET).

6.Juraska, J. et al. (2024). MetricX-24: The Google Submission to the WMT 2024 Metrics Shared Task. WMT 2024. https://aclanthology.org/2024.wmt-1.35

Translation score (MetricX-24).

7.Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. Text Summarization Branches Out. https://aclanthology.org/W04-1013

Summary score (ROUGE-L).

8.Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP 2016. https://aclanthology.org/D16-1264

Question-answering scores (Exact Match and F1).

9.Zhou, J. et al. (2023). Instruction-Following Evaluation for Large Language Models (IFEval). arXiv. https://arxiv.org/abs/2311.07911

Instruction-following test.

10.Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks. https://arxiv.org/abs/2306.05685

Multi-turn chat test and AI-judge scoring.

Read More →

မြန်မာ-အင်္ဂလိပ် AI ဘာသာပြန်စနစ်တစ်ခု တည်ဆောက်ခြင်း - Gemma-4 ကို Fine-tuning ပြုလုပ်ခြင်း

Large Language Model (LLM) တွေဟာ ဘာသာစကားနားလည်ခြင်း၊ စာသားထုတ်လုပ်ခြင်းနဲ့ ဘာသာပြန်ဆိုခြင်းတို့မှာ သိသိသာသာ တိုးတက်လာပါသည်။


ဒါပေမဲ့ ဘာသာစကားအားလုံးအတွက် စွမ်းဆောင်ရည်တူညီနေခြင်းတော့ မဟုတ်ပါဘူး။ အထူးသဖြင့် မြန်မာဘာသာစကားလို Language Resources နည်းပါးတဲ့ ဘာသာစကားတွေအတွက် အရည်အသွေးကောင်းမွန်တဲ့ AI Translation System တွေ တည်ဆောက်ဖို့ အခွင့်အလမ်းနဲ့ စိန်ခေါ်မှုတွေ ရှိနေဆဲဖြစ်ပါသည်။ အခြေအနေကို အခြေခံပြီး Google ရဲ့ Gemma-4 ကို အသုံးပြုပြီး မြန်မာ-အင်္ဂလိပ် နှစ်ဘာသာအပြန်အလှန်ဘာသာပြန်နိုင်တဲ့ Model တစ်ခုကို Fine-tuning ပြုလုပ်ခဲ့ပါသည်။ ဒီစမ်းသပ်မှုမှာ Hugging Face ရဲ့ FineTranslations Dataset၊ Unsloth Framework နဲ့ QLoRA နည်းပညာတို့ကို အသုံးပြုခဲ့ပြီး Model ရဲ့ ဘာသာပြန်အရည်အသွေးကို COMET နဲ့ chrF++ Metrics တွေဖြင့် အကဲဖြတ်ခဲ့ပါသည်။ ပြုလုပ်ခဲ့သော research မှ Model ရွေးချယ်မှုကနေ Training နဲ့ Evaluation ရလဒ်တွေအထိ လုပ်ဆောင်ခဲ့တဲ့ လုပ်ငန်းစဉ်ကို မျှဝေသွားမှာ ဖြစ်ပါတယ်။


၁။ Gemma-4 ကို ဘာကြောင့် ရွေးချယ်ခဲ့သလဲ။


ဒီ research ရဲ့ အဓိကအခြေခံက Gemma-4 ဖြစ်ပါသည်။ Gemma-4 ဟာ Goole DeepMind မှ ထုတ်ဝေထားတဲ့ Open-weight Model Family တစ်ခုဖြစ်ပြီး Language Understanding, Reasoning နဲ့ Multimodal Processing တို့အတွက် ရည်ရွယ်တည်ဆောက်ထားပါတယ်။ Open-weight Model ဖြစ်တဲ့အတွက် Model Weights တွေကို ရယူပြီး ကိုယ်ပိုင် Hardware ပေါ်မှာ အသုံးပြုခြင်း၊ Fine-tuning ပြုလုပ်ခြင်းတို့ လုပ်ဆောင်နိုင်ပါသည်။


Architecture နဲ့ Model Variants


Gemma-4 မှာ Model Size နဲ့ Architecture မတူညီတဲ့ Variants တွေ ပါဝင်ပါသည်။


E2B နှင့် E4B: Memory နဲ့ Compute Efficiency ကို အလေးထားတဲ့ Compact Model များ။

12B: ပိုမိုကြီးမားတဲ့ Dense Architecture ကို အခြေခံထားတဲ့ Model။

26B A4B: Mixture-of-Experts (MoE) Architecture ကို အသုံးပြုထားတဲ့ Model။

31B: Dense Architecture ကို အသုံးပြုထားတဲ့ Model။


ဒီ research မှာတော့ unsloth/gemma-4-E2B-it ကို အသုံးပြုခဲ့ပါတယ်။


E2B ရဲ့ စိတ်ဝင်စားစရာကောင်းတဲ့ အချက်တစ်ခုက Per-Layer Embeddings (PLE) နဲ့ Hybrid Attention Architecture တို့ ပါဝင်ခြင်းဖြစ်ပါသည်။


Hybrid Attention ဆိုတာ စာသားအနီးအနားက အချက်အလက်တွေကို အာရုံစိုက်တဲ့ Local Attention နဲ့ ပိုမိုကျယ်ပြန့်တဲ့ Context ကို ကြည့်နိုင်တဲ့ Global Attention တို့ကို ပေါင်းစပ်အသုံးပြုခြင်း ဖြစ်ပါသည်။


ဒါ့အပြင် Gemma-4 ဟာ Text ကိုသာမက Image နဲ့ Audio Input တွေကိုပါ ကိုင်တွယ်နိုင်တဲ့ Multimodal Model Family တစ်ခုဖြစ်ပါသည်။


ဘယ်ဘာသာစကားတွေကို Support လုပ်သလဲ။


Gemma-4 ကို ဘာသာစကား ၁၄၀ ကျော်နဲ့ လေ့ကျင့်ထားပါတယ်။ ဒါကြောင့် English လို အသုံးများတဲ့ ဘာသာစကားတွေအပြင် အခြားဘာသာစကားများအတွက်ပါ အခြေခံ Language Understanding စွမ်းရည်တွေ ရရှိထားပါသည်။


ဒါပေမဲ့ ဘာသာစကားအားလုံးမှာ စွမ်းဆောင်ရည်တူညီတယ်လို့ မဆိုနိုင်ပါဘူး။ Training Data ပမာဏနဲ့ အရည်အသွေးပေါ်မူတည်ပြီး ရလဒ်တွေ ကွာခြားနိုင်ပါသည်။


ဒါကြောင့် မြန်မာဘာသာစကားအတွက် သီးခြား Fine-tuning ပြုလုပ်ပြီး ဘာသာပြန်အရည်အသွေး ဘယ်လောက်တိုးတက်လာနိုင်သလဲဆိုတာကို စမ်းသပ်ဖို့ ရည်ရွယ်ခဲ့ပါသည်။


Model: Gemma-4 E2B - Unsloth


၂။ Training Data - FineTranslations


Machine Translation Model တစ်ခုရဲ့ အရည်အသွေးဟာ Training Data နဲ့ အလွန်နီးစပ်တဲ့ ဆက်နွယ်မှုရှိပါသည်။


ဒီ Project မှာ FineTranslations Dataset ကို အခြေခံအသုံးပြုခဲ့ပါသည်။


FineTranslations ဟာ Hugging Face က ထုတ်ဝေထားတဲ့ Multilingual Translation Dataset တစ်ခုဖြစ်ပြီး ဘာသာစကား ၅၀၀ ကျော်နဲ့ Parallel Text Data တွေ ပါဝင်ပါသည်။


ဒီ Dataset ကို FineWeb2 မှ ရရှိတဲ့ မူရင်းဘာသာစကားစာသားတွေကို Gemma 3 27B အသုံးပြုပြီး English ဘာသာသို့ ဘာသာပြန်ကာ ဖန်တီးထားခြင်း ဖြစ်ပါသည်။


ဒီ Project မှာ Dataset ထဲက မြန်မာဘာသာစကားနဲ့ သက်ဆိုင်တဲ့ Data တွေကို ရွေးချယ်အသုံးပြုခဲ့ပါသည်။


မူလရည်ရွယ်ချက်အရ Document ပေါင်း ၁.၅၅ သန်းခန့်ကို အသုံးပြုဖို့ ပြင်ဆင်ခဲ့ပြီး လက်ရှိ Training Log အရ Training Examples 1,162,346 ခု ပါဝင်ပါသည်။


Data တွေကို အောက်ပါအချက်အလက်တွေအပေါ် အခြေခံပြီး ပြင်ဆင်ခဲ့ပါသည်။


Source Text - မူရင်းစာသား။

Target Text - ဘာသာပြန်ထားတဲ့ စာသား။

Source Language - မူရင်းဘာသာစကား။

Target Language - ရည်ရွယ်ထားတဲ့ ဘာသာစကား။


ဒီ Research ရဲ့ ရည်ရွယ်ချက်က ဘာသာပြန်ခြင်း နှစ်မျိုးစလုံးကို သင်ကြားပေးဖို့ ဖြစ်ပါသည်။


Burmese → English

English → Burmese


Dataset ရဲ့ မူလပုံစံမှာ English သို့ ဘာသာပြန်ထားတဲ့ Data တွေကို အဓိကထားတဲ့အတွက် English → Burmese Data တွေကို Reverse Pair အဖြစ် ပြောင်းလဲထည့်သွင်းထားပါက Dataset Preparation အပိုင်းမှာ အဲဒီလုပ်ငန်းစဉ်ကိုလည်း မှတ်တမ်းတင်ထားဖို့ လိုအပ်ပါသည်။


Synthetic Translation Data ရဲ့ အားသာချက်နဲ့ အားနည်းချက်


FineTranslations ရဲ့ အားသာချက်က ဘာသာစကားအများအပြားအတွက် ကြီးမားတဲ့ Parallel Dataset ကို ရရှိနိုင်ခြင်း ဖြစ်ပါသည်။


ဒါပေမဲ့ ဘာသာပြန်ထားတဲ့ စာသားတွေကို AI Model တစ်ခုက ထုတ်လုပ်ထားတာဖြစ်တဲ့အတွက် အမှားအယွင်းနဲ့ သဘာဝမကျတဲ့ အသုံးအနှုန်းအချို့ ပါဝင်နိုင်ပါသည်။


အထူးသဖြင့် မြန်မာဘာသာစကားလို အရည်အသွေးမြင့် Human Translation Data နည်းပါးတဲ့ ဘာသာစကားတွေအတွက် ဒီအချက်ကို ထည့်သွင်းစဉ်းစားဖို့ လိုအပ်ပါသည်။


ဒါကြောင့် Dataset အရွယ်အစားတစ်ခုတည်းကိုသာ အားကိုးမနေဘဲ Data Quality ကိုလည်း အရေးကြီးတဲ့ အချက်တစ်ခုအဖြစ် သတ်မှတ်ထားပါသည်။


၃။ Fine-tuning နည်းပညာ - Unsloth နှင့် QLoRA


Gemma-4 ကို Fine-tuning ပြုလုပ်ရာမှာ Unsloth Framework နဲ့ QLoRA နည်းပညာကို အသုံးပြုခဲ့ပါသည်။


QLoRA ကို နားလည်ဖို့ Model တစ်ခုလုံးကို ပြန်လည်လေ့ကျင့်စရာမလိုဘဲ လိုအပ်တဲ့ Parameters အနည်းငယ်ကိုသာ ပြုပြင်နိုင်တယ်လို့ စဉ်းစားနိုင်ပါသည်။


ဒီနည်းလမ်းမှာ မူလ Model Weights တွေကို 4-bit အဖြစ် Quantization ပြုလုပ်ပြီး LoRA Adapter တွေကို Training လုပ်ပါသည်။


LoRA Adapter ဆိုတာ မူလ Model ရဲ့ Parameters တွေကို အပြည့်အဝ ပြောင်းလဲမယ့်အစား သင်ယူနိုင်တဲ့ Parameter အနည်းငယ်ကို ထပ်ပေါင်းထည့်ထားခြင်း ဖြစ်ပါသည်။


ဒီလိုလုပ်ဆောင်ခြင်းအားဖြင့် GPU Memory အသုံးပြုမှုကို လျှော့ချနိုင်ပြီး Model တစ်ခုလုံးကို Fine-tuning ပြုလုပ်တာထက် ပိုမိုထိရောက်တဲ့ Training လုပ်ငန်းစဉ်ကို ရရှိနိုင်ပါသည်။


အသုံးပြုခဲ့တဲ့ LoRA Configuration

Quantization : 4-bit

LoRA Rank: 16

LoRA Alpha: 16LoRA

Dropout: 0

Target Modules:all-linear

Trainable Parameters: 59.7M


Model Parameters စုစုပေါင်း 5.18 Billion ခန့်ရှိပေမဲ့ Training ပြုလုပ်ခဲ့တဲ့ Parameters က 59.7 Million ခန့်သာ ရှိပါသည်။


ဒါဟာ စုစုပေါင်း Parameters ရဲ့ 1.15% ခန့် ဖြစ်ပါတယ်။


Training မှာ Unsloth ရဲ့ Optimized Implementation၊ Gradient Checkpointing နဲ့ Hugging Face TRL ရဲ့ SFTTrainer ကို အသုံးပြုခဲ့ပါသည်။


Hardware အနေနဲ့ NVIDIA H100 GPU ကို အသုံးပြုထားပါသည်။


၄။ Model ကို ဘယ်လို Evaluation လုပ်ခဲ့သလဲ။


Training Loss ကျဆင်းလာတာနဲ့ Model ရဲ့ ဘာသာပြန်အရည်အသွေး တိုးတက်လာတယ်လို့ တန်းပြီး မဆုံးဖြတ်နိုင်ပါဘူး။


ဒါကြောင့် Training ပြုလုပ်နေစဉ် Model က ထုတ်ပေးတဲ့ ဘာသာပြန်စာသားတွေကို သီးခြား Evaluation ပြုလုပ်ခဲ့ပါတယ်။


ဒီ Project မှာ COMET နဲ့ chrF++ Metrics နှစ်မျိုးကို အသုံးပြုခဲ့ပါတယ်။


chrF++ - ဘာသာပြန်စာသား ဘယ်လောက်တူသလဲ။


chrF++ ဟာ Model ရဲ့ ဘာသာပြန်စာသားနဲ့ မှန်ကန်တဲ့ Reference Translation ကို နှိုင်းယှဉ်ပေးတဲ့ Metric ဖြစ်ပါသည်။


ဥပမာ လူတစ်ယောက်က "ကျွန်တော် အရမ်းပျော်ပါတယ်" လို့ ဘာသာပြန်ထားပြီး AI က "ကျွန်တော် အလွန်ပျော်ရွှင်ပါတယ်" လို့ ထုတ်ပေးတယ်ဆိုပါစို့။


စာလုံးချင်း တိတိကျကျ မတူပေမဲ့ တချို့ Character နဲ့ Word အပိုင်းအစတွေ တူညီနေပါတယ်။


chrF++ က ဒီလိုတူညီမှုတွေကို Character N-grams နဲ့ Word N-grams တွေအပေါ် အခြေခံပြီး တွက်ချက်ပေးပါတယ်။


ရိုးရိုးပြောရရင် AI ရဲ့ ဘာသာပြန်စာသားက Reference စာသားနဲ့ ဘယ်လောက်ဆင်တူသလဲဆိုတာကို တိုင်းတာပေးတာ ဖြစ်ပါတယ်။


Score မြင့်လေလေ စာသားတူညီမှု ပိုများလေလေ ဖြစ်ပါတယ်။


COMET - ဘာသာပြန်အဓိပ္ပာယ် ဘယ်လောက်မှန်သလဲ။


COMET ကတော့ Neural Network အခြေခံထားတဲ့ Translation Evaluation Metric ဖြစ်ပါတယ်။


chrF++ နဲ့ မတူတာက COMET ဟာ စာသားတူညီမှုကိုသာ အဓိကမထားပါဘူး။


မူရင်းစာသား၊ Reference Translation နဲ့ AI ရဲ့ ဘာသာပြန်စာသားတို့ကို အသုံးပြုပြီး ဘာသာပြန်အရည်အသွေးနဲ့ အဓိပ္ပာယ်ဆိုင်ရာ တူညီမှုကို အကဲဖြတ်ဖို့ ကြိုးစားပါသည်။


ဥပမာ -


Reference: "I am very happy."

AI Translation: "ကျွန်တော် အလွန်ဝမ်းသာပါတယ်။"


Reference နဲ့ AI Translation တို့ဟာ စာလုံးချင်း မတူပေမဲ့ အဓိပ္ပာယ်တူညီနိုင်ပါတယ်။


ဒီလိုအခြေအနေမျိုးမှာ COMET က စာလုံးတူညီမှုတစ်ခုတည်းထက် ပိုမိုကျယ်ပြန့်တဲ့ အချက်အလက်တွေကို အသုံးပြုပါတယ်။


ဒီ Project မှာ အသုံးပြုခဲ့တဲ့ Metric Model က Unbabel/wmt22-comet-da ဖြစ်ပါတယ်။


ရိုးရိုးရှင်းရှင်းပြောရရင် chrF++ က စာသားဘယ်လောက်တူသလဲဆိုတာကို ကြည့်ပြီး COMET က ဘာသာပြန်အရည်အသွေးနဲ့ အဓိပ္ပာယ်ဆိုင်ရာ မှန်ကန်မှုကို ပိုမိုအာရုံစိုက်ပါတယ်။


Metric နှစ်မျိုးကို တွဲဖက်အသုံးပြုခြင်းအားဖြင့် Model ရဲ့ ဘာသာပြန်အရည်အသွေးကို မတူညီတဲ့ ရှုထောင့်နှစ်ခုကနေ လေ့လာနိုင်ပါတယ်။


၅။ ကနဦး Evaluation ရလဒ်များ


Training ပြုလုပ်နေစဉ် Step 50၊ 100 နဲ့ 150 တို့မှာ Evaluation ပြုလုပ်ခဲ့ပါတယ်။


လက်ရှိရရှိထားတဲ့ ရလဒ်တွေကတော့ -


Training Step: 50 chrF++ : 38.03 COMET: 0.7878


Training Step: 100 chrF++ : 37.67 COMET: 0.7813


Training Step: 150 chrF++ : 35.90 COMET: 0.7213



Step 50 မှာ COMET 0.7878 နဲ့ chrF++ 38.03 ရရှိခဲ့ပါတယ်။


ဒါပေမဲ့ Step 100 နဲ့ 150 မှာ Score တွေ ဆက်တိုက်ကျဆင်းလာတာကို တွေ့ရပါတယ်။


ဒီနေရာမှာ စိတ်ဝင်စားစရာကောင်းတဲ့ အချက်တစ်ခု ရှိပါတယ်။


Training Loss က ကျဆင်းနေပေမဲ့ Evaluation Score တွေကတော့ ကျဆင်းလာပါတယ်။


ဒီလိုဖြစ်ရခြင်းရဲ့ ဖြစ်နိုင်တဲ့ အကြောင်းရင်းတစ်ခုက Overfitting ဖြစ်ပါတယ်။ Model ဟာ Training Data တွေကို ပိုမိုမှတ်မိလာပေမဲ့ မမြင်ဖူးသေးတဲ့ စာသားအသစ်တွေကို ဘာသာပြန်တဲ့အခါ အရည်အသွေး ကျဆင်းလာနိုင်ပါတယ်။


ဒါပေမဲ့ လက်ရှိရလဒ်တွေနဲ့ Overfitting ဖြစ်နေပြီလို့ အတည်ပြုဖို့တော့ မလုံလောက်သေးပါဘူး။


Evaluation မှာ Sample 150 ခုကိုသာ အသုံးပြုထားတာကြောင့် ပိုမိုကြီးမားတဲ့ Test Set နဲ့ ထပ်မံစစ်ဆေးဖို့ လိုအပ်ပါတယ်။


လက်ရှိရလဒ်တွေကို အကောင်းဆုံး Model ရဲ့ နောက်ဆုံးစွမ်းဆောင်ရည်အဖြစ် မဟုတ်ဘဲ ကနဦးတွေ့ရှိချက်တွေအဖြစ်သာ သတ်မှတ်ထားပါတယ်။


၆။ နောက်ထပ်လုပ်ဆောင်သွားမယ့်အရာများ


ဒီ Project ဟာ လက်ရှိမှာလည်း ဆက်လက်စမ်းသပ်ပြီး ပိုမိုကောင်းမွန်အောင် ပြုပြင်နေဆဲ ဖြစ်ပါတယ်။


နောက်ထပ်အဆင့်တွေမှာ အဓိကထား လုပ်ဆောင်သွားမယ့်အရာတွေကတော့ -


Dataset Quality ကို ပိုမိုကောင်းမွန်အောင် စစ်ဆေးခြင်း။

Learning Rate နဲ့ LoRA Rank တို့ကို ထပ်မံစမ်းသပ်ခြင်း။

Burmese → English နဲ့ English → Burmese ကို သီးခြား Evaluation ပြုလုပ်ခြင်း။

ပိုမိုကြီးမားတဲ့ Test Set အသုံးပြုခြင်း။

လူသားဘာသာပြန်သူတွေရဲ့ အကဲဖြတ်မှုကို ထည့်သွင်းခြင်း။

မူရင်း Gemma-4 Model နဲ့ Fine-tuned Model တို့ကို တူညီတဲ့ Test Set ပေါ်မှာ နှိုင်းယှဉ်ခြင်း။


အထူးသဖြင့် Human Evaluation ဟာ အရေးကြီးပါတယ်။ Automatic Metrics တွေက ဘာသာပြန်အရည်အသွေးကို ခန့်မှန်းပေးနိုင်ပေမဲ့ လူသားတစ်ယောက်ရဲ့ အမြင်နဲ့ သဘာဝကျမှု၊ အဓိပ္ပာယ်တိကျမှုတို့ကို အပြည့်အဝ အစားထိုးနိုင်တာ မဟုတ်ပါဘူး။


နိဂုံးချုပ်


ဒီ Project ဟာ Gemma-4 ကို အခြေခံပြီး မြန်မာ-အင်္ဂလိပ် ဘာသာပြန်ဆိုမှုအတွက် ကိုယ်ပိုင် AI Model တစ်ခု တည်ဆောက်ဖို့ ကြိုးစားထားတဲ့ စမ်းသပ်မှုတစ်ခု ဖြစ်ပါတယ်။


Unsloth နဲ့ QLoRA ကို အသုံးပြုပြီး Model Parameters ရဲ့ 1.15% ခန့်ကိုသာ Fine-tuning ပြုလုပ်နိုင်ခဲ့ပါတယ်။


ကနဦး Evaluation ရလဒ်တွေက စိတ်ဝင်စားစရာကောင်းပေမဲ့ Training Step တိုးလာတာနဲ့အမျှ Validation Score ကျဆင်းလာတဲ့အတွက် ထပ်မံစမ်းသပ်ဖို့ လိုအပ်နေပါတယ်။


ဒီစမ်းသပ်မှုကနေ သိရှိရတဲ့ အရေးကြီးဆုံးအချက်တစ်ခုက Model တစ်ခုရဲ့ ဘာသာပြန်အရည်အသွေးဟာ Model Size နဲ့ Training Data ပမာဏတစ်ခုတည်းအပေါ် မမူတည်ဘဲ Data Quality၊ Training Strategy နဲ့ Evaluation Method တွေအပေါ်လည်း မူတည်နေခြင်း ဖြစ်ပါတယ်။


မြန်မာဘာသာစကားအတွက် ပိုမိုကောင်းမွန်တဲ့ AI နည်းပညာတွေ တည်ဆောက်နိုင်ဖို့ ဒီ Reseachကို ဆက်လက်လေ့လာပြီး တိုးတက်အောင် လုပ်ဆောင်သွားဖို့ ရည်ရွယ်ထားပါသည်။


References

1.Gemma-4 Technical Report (2026) — Gemma-4 ရဲ့ Architecture၊ Model Design နဲ့ Multimodal Capabilities အကြောင်း။

https://arxiv.org/abs/2607.02770

2.LoRA: Low-Rank Adaptation of Large Language Models (2021) — LoRA နည်းပညာရဲ့ မူရင်း Research Paper။

https://arxiv.org/abs/2106.09685

3.QLoRA: Efficient Finetuning of Quantized LLMs (2023) — 4-bit Quantization နဲ့ Parameter-efficient Fine-tuning အကြောင်း။

https://arxiv.org/abs/2305.14314

4.COMET: A Neural Framework for MT Evaluation (2020) — Neural Network အခြေခံ Machine Translation Evaluation နည်းပညာ။

https://aclanthology.org/2020.emnlp-main.213/

5,chrF++: Words Helping Character N-grams (2017) — Character နဲ့ Word N-grams ကို ပေါင်းစပ်အသုံးပြုတဲ့ Translation Evaluation Metric။

https://aclanthology.org/W17-4770/

6.FineTranslations Dataset (2026) — Multilingual Parallel Translation Dataset ရဲ့ မူရင်းအကြောင်းအရာနဲ့ Dataset Construction။

https://huggingface.co/datasets/HuggingFaceFW/finetranslations

7.Unsloth Documentation — Efficient Fine-tuning Implementation နဲ့ Training Configuration။

https://unsloth.ai/docs/

8.Hugging Face TRL Documentation — Supervised Fine-tuning Trainer နဲ့ Training Workflow။

https://huggingface.co/docs/trl/

Read More →

Myanmar OCR - Tesseract OCR Fine-tuning

Many Myanmar newspapers exist only as scanned pages or PDF files.




A computer cannot easily read the Burmese text inside them, so this text cannot be searched or used to build Burmese AI models.


Our OCR (Optical Character Recognition) research builds a system that reads these newspaper pages and turns them into clean, accurate Burmese text.

Why this is hard

Burmese letters stack and join in complex ways. For example, the word မြန်မာ ("Myanmar") is stored as six characters. One of them (ြ) wraps around the first letter, and another (်) is a small mark at the top. An OCR tool must read every mark correctly, because one small mistake changes the word. Burmese also does not always put spaces between words.

Newspaper pages add more problems: many columns, headlines in large decorative fonts, photos, advertisements and boxes of text side by side. Very few OCR tools are trained on Burmese, and almost none on Myanmar newspapers.


How the system works


Two parts of this system are models that we fine-tuned ourselves: the layout model and the OCR engine. The sections below explain how we built them and how well they work.


Step 1: Comparing existing tools

We first tested seven existing page-layout models on real Myanmar newspaper pages, including DocLayout-YOLO [1], PP-DocLayout [4], RT-DETR [5] and DeepSeek-OCR [6]. On the same page, one model found 59 parts of the page while another found only 5. No single tool worked well enough on its own, so we decided to fine-tune our own models.


Step 2: Creating our own training data

To teach a model, we need examples with the correct answers. On nearly 500 newspaper pages, we drew a box around every part of the page (headline, body text, photo, caption, advertisement and so on), gave it a label, and marked the reading order. We always tested the models on pages from newspaper issues that they had never seen, so the scores show how they work on new pages.



Step 3: Fine-tuning the layout model

What is fine-tuning?

Fine-tuning means taking a model that has already learned from many general examples and training it a little more on our own examples. The model keeps what it already knows and learns the special features of our data. This needs much less data and time than training a new model from zero.


We started from DocLayout-YOLO [1], a model already trained on many kinds of documents such as reports and books, and trained it further on our labelled pages.


Result: the detection score rose from 49% to 91%, and the model now finds 89% of the parts of a page, up from 44%. (The detection score shows how many parts the model finds and how accurately it places the boxes. 100% is perfect.)


Example: the model finds most advertisements, photos and body text areas. Headlines are the hardest part, because their size and style change a lot from page to page.


Next version: a newer version that is better at small headlines is being tested. We will use it once it passes all our checks.


Step 4: Fine-tuning the OCR engine

Tesseract [2] is a free, open-source OCR engine. Its standard Burmese model made many mistakes on newspaper print, so we fine-tuned it with about 10,700 line images from our own pages, each paired with its correct text. We then tested it on a full newspaper issue that it had never seen.


Character errors (lower is better)

Old setup (standard model) 5.7%

Our fine-tuned model 3.4%


The character error rate is the share of characters that are wrong: 3.4% means about 3 wrong characters in every 100. Our model makes about 40% fewer mistakes. Here are three real lines from the test issue, read by the old setup and by our fine-tuned model:



Example 1: numbers read correctly

Text (mistakes in underline)

Old setup (before): ပွဲချိန် ၁၈ မိနစ်နှင့် ပွဲချိနဲ ဂု၄ မိနစ်

Fine-tuned model (after): ပွဲချိန် ၁၈ မိနစ်နှင့် ပွဲချိန် ၇၄ မိနစ်

Correct text: ပွဲချိန် ၁၈ မိနစ်နှင့် ပွဲချိန် ၇၄ မိနစ်

Meaning in English:: "in the 18th minute and the 74th minute of the match". The old setup read the number 7 (၇) as letters.


Example 2: stacked letters read correctly

Text (mistakes in underline)

Old setup (before): စတဲ့သီးနှံတွေ စိုက်ပိူူးပါတယ် စိုက်ပျိုးတဲ့

Fine-tuned model (after): စတဲ့သီးနှံတွေ စိုက်ပျိုးပါတယ် စိုက်ပျိုးတဲ့

Correct text: စတဲ့သီးနှံတွေ စိုက်ပျိုးပါတယ် စိုက်ပျိုးတဲ့

Meaning in English:: "... we grow crops such as these. The crops we grow ...". The old setup misread the word for "grow".


Example 3: much better, but not perfect

Text (mistakes in underline)

Old setup (before) : ြိုင်ပွဲ၀င်ကစားသမား 99095) ယောက်တို့ ပါဝင်

Fine-tuned model (after): ပြိုင်ပွဲဝင်ကစားသမား ၁၁၃၇၅ ယောက်တို့ ပါဝင်

Correct text: ပြိုင်ပွဲဝင်ကစားသမား ၁၃၇၅ ယောက်တို့ ပါဝင်

Meaning in English: "1,375 players took part in the competition". The fine-tuned model read the words correctly but added one extra digit to the number.


Step 5: Testing AI text correction

We also asked Gemma 4 [3], a large language model, to look at each line image and its OCR text and fix the mistakes. We compared the results with text typed by a person. Here are two real lines from this test, using the OCR from before fine-tuning:


Example 1: all mistakes fixed

OCR output (before): ညီလာခံကြီးဇါ ဆုံးဖြတ်ချက်ဖြင့် နှစ်စဉ် ဒီဧငဲဘာ ၃ ရက်နေ့ကို အပြည်ပြည်ဆိုင်ရာ မသနိစ္ဗမ်းသူများနေ့

After AI correction: ညီလာခံကြီး၏ ဆုံးဖြတ်ချက်ဖြင့် နှစ်စဉ် ဒီဇင်ဘာ ၃ ရက်နေ့ကို အပြည်ပြည်ဆိုင်ရာ မသန်စွမ်းသူများနေ့

Correct text (typed by a person) :ညီလာခံကြီး၏ ဆုံးဖြတ်ချက်ဖြင့် နှစ်စဉ် ဒီဇင်ဘာ ၃ ရက်နေ့ကို အပြည်ပြည်ဆိုင်ရာ မသန်စွမ်းသူများနေ့

Meaning in English: "By decision of the General Assembly, 3 December every year [was named] International Day of Persons with Disabilities"


Example 2: the number is fixed, but one mistake is missed

Text (mistakes in underline)

OCR output (before)

၁၉၉၂ ခုနှစ် အောက်တိုဘာ ၁၄ရက်တွင် ကျင်းပခဲ့သော (၄ဂု) ကြိမ်မြေ၁က် ကုလသမဂ္ဂကအထွေထွေ

After AI correction: ၁၉၉၂ ခုနှစ် အောက်တိုဘာ ၁၄ရက်တွင် ကျင်းပခဲ့သော (၄၇) ကြိမ်မြောက် ကုလသမဂ္ဂကအထွေထွေ

Correct text (typed by a person): ၁၉၉၂ ခုနှစ် အောက်တိုဘာ ၁၄ရက်တွင် ကျင်းပခဲ့သော (၄၇) ကြိမ်မြောက် ကုလသမဂ္ဂအထွေထွေ

Meaning in English: "... held on 14 October 1992, the 47th United Nations General [Assembly] ..."


Better overall: lines with no mistakes rose from 28% to 47%.

Not perfect: the AI sometimes added new mistakes, so people still need to review important text.

Faster with better OCR: with our fine-tuned OCR, only a few unclear lines need AI correction. On a test page, the correction time fell from tens of minutes to about 17 seconds.


Step 6: Building Version 4

Many newer newspaper PDFs already contain the real text inside the file. Reading that text directly is faster and more accurate than OCR. Our current system, Version 4, checks every page: if the PDF text is usable, it uses that text; if not, for example on a scanned page, it uses our fine-tuned OCR. It then puts headlines, author names and body text in reading order and saves them as a clean dataset.

Quality check: we compared 598 lines with text typed by a person. 572 lines matched exactly, and 99.9% of characters were correct (not counting spaces).


Key results


Finding the parts of a page (layout model)| Detection score rose from 49% to 91%. | Newspaper pages not used in training

Reading Burmese text (OCR) | Character errors fell from 5.7% to 3.4%, about 40% fewer mistakes.| A newspaper issue not used in training

AI text correction| Lines with no mistakes rose from 28% to 47%.| Checked against text typed by a person

Correction speed| Time per page fell from tens of minutes to about 17 seconds.| One test page

Final text quality (Version 4)| 99.9% of characters were correct (not counting spaces).| Checked against text typed by a person


Text extracted so far

Our system has extracted Burmese text from 787 newspaper pages across three Myanmar newspapers, about 2.8 million tokens in total. A token is a small piece of text that language models read.


Limits and what comes next

The Version 4 quality check covered pages with usable PDF text. Next, we will check scanned pages read by OCR in the same way.

The OCR engine was trained on one newspaper's print. We plan to add more newspapers and years and retrain it with more data.

Small headlines are still the hardest part for the layout model. A new version is being tested.


References

1.Zhao, Z., Kang, H., Wang, B. and He, C. (2024). DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception. arXiv:2410.12628. https://arxiv.org/abs/2410.12628

2.Smith, R. (2007). An Overview of the Tesseract OCR Engine. Proceedings of the Ninth International Conference on Document 3.Analysis and Recognition (ICDAR 2007), pp. 629–633. https://research.google/pubs/an-overview-of-the-tesseract-ocr-engine/

Gemma Team (2026). Gemma 4 Technical Report. arXiv:2607.02770. https://arxiv.org/abs/2607.02770

4.Sun, T., Cui, C., Du, Y. and Liu, Y. (2025). PP-DocLayout: A Unified Document Layout Detection Model to Accelerate Large-Scale Data Construction. arXiv:2503.17213. https://arxiv.org/abs/2503.17213

5.Zhao, Y., Lv, W., Xu, S., et al. (2023). DETRs Beat YOLOs on Real-time Object Detection. arXiv:2304.08069. https://arxiv.org/abs/2304.08069

6.Wei, H., Sun, Y. and Li, Y. (2025). DeepSeek-OCR: Contexts Optical Compression. arXiv:2510.18234. https://arxiv.org/abs/2510.18234

Read More →

Burmese Language AI Research

Advancing Burmese language AI through model development, quality datasets, practical applications, reliable evaluation, and responsible AI practices.

Burmese foundation and conversational models
English-Burmese parallel corpora
Translation and summarization systems
Question-answering and reasoning datasets
Myanmar AI evaluation benchmarks
Safety and responsible AI frameworks

Myanmar Intelligence. Global Possibilities.

MyMind AI is building artificial intelligence that understands Myanmar, serves its people, supports its industries, and connects the nation to the future.

Let's Build Myanmar's AI Future Together

We welcome collaboration with researchers, universities, technology companies, government institutions, development organizations, and industry leaders committed to responsible and meaningful AI innovation.