[SIGARAB] Announcing the AMIYA Shared Task for Dialectal Arabic LLMs

[Nate Robinson]

SIGARAB colleagues and friends,

👋 Salam! Are you interested in developing LLMs that work for dialectal Arabic? Introducing the AMIYA shared task: Arabic Modeling In Your Accent, which has just been accepted to VarDial 2026! 

🌍 The purpose of this shared task is to explore and progress the state-of-the-art in Dialectal Arabic language modeling, via post-training or prompt engineering. We are preparing test sets for Moroccan, Egyptian, Palestinian, Syrian, and Saudi Arabics, but if you would like to prepare a submission in a different variety, please let us know! 

🇲🇦 We are very excited that VarDial will be collocated with EACL in Morocco, and we are hoping this will inspire submissions for Darija / Northwest African dialects!

📈 We are looking for submissions that can improve performance in:

• Frequency of LLM responses in the correct dialect (measured by ADI2 score)
• Translation between dialectal Arabic and English or MSA 
• Dialectal Arabic fluency and understanding

🔗 See our shared task website here! https://sites.google.com/view/vardial-2026/shared-tasks 

---

👋 مرحبا يا أصدقائي وزملائي في علاج اللغات الطبيعية للعربية! أنا هنا أقدم لكم تحدي جديد في مجالنا -- اسمه "عامية," أو "نماذج عربية في لهجتك." 

🌍 سبب هذا التحدي هو أن نطور حالة نماذج اللغات في اللهجات العربية المتنوعة. نحن نستعد لكي نقيم النماذج منكم في اللهجات المغربية والمصرية والفلسطينية والسورية والسعودية, ولكن إذا كنت تريد المشاركة للهجة أخرى, ففقط عليك أن تخبرنا! 

🇲🇦 نحن متحمسون جدا لأن المؤتمر حيث سوف نقدم نتائج هذا التحدي سيحدث في المغرب في الربيع القادم! لهذا السبب نؤمن بأن يشارك في التحدي فرق عديدة من دول المغرب لتطوير النماذج اللغوية للدارجة! 

📈 سوف نقيم النماذج التي سوف تخلقوها أولا (١) من ناحية استطاعة النموذج للرد باللهجة المناسبة, وثانيا (٢) من ناحية نوعية الترجمات للنموذج بين العامية والانجليزية أو بين العامية والفصحى, وثالثا (٣) من ناحية الطلاقة والفهم للهجة المطلوبة. 

🔗 انظروا إلى موقعنا للتحدي لكل التفاصيل: 

https://sites.google.com/view/vardial-2026/shared-tasks

--

Nate Robinson

PhD at Center for Language and Speech Processing

Johns Hopkins University