Overview of the core domains and sub-domains in SIRAJ. Our benchmark spans six major dialects and 16 sub-domains, providing a comprehensive evaluation framework for multi-Arabic dialects.
Abstract
Despite significant advances in speech processing technologies, a substantial number of the world’s languages and their dialects remain under-resourced. This disparity contributes to a widening technological gap, thereby impeding broader technological inclusion. One obstacle to inclusion is the scarcity of comprehensive datasets for developing robust multidialectal Text-to-Speech (TTS) systems. In this work, we present SIRAJ, an extensive dataset of Arabic dialects for dialectal Text-to-Speech systems. SIRAJ contains audio, transcription, speaker gender, and dialect information for six Arabic dialects: Egyptian, Emirati, Jordanian, Saudi, Moroccan, and Syrian. We find that fine-tuning on SIRAJ affords human-like audio quality in generated samples for some dialects. By establishing strong baselines, we hope that SIRAJ can serve as a basis for future work in TTS for Arabic dialects.
Overview of the pipeline from gathering the data to model training and evaluation.
Egypt Samples
Transcript
XTTS
Fishspeech
MMS
واللي المره دي عندها اكتر من راس نطلع فوق خالص في الشمال للاساطير الاسكندنافيه هنلاقي التنين نيد هوجر وحتى القدماء المصريين كان عندهم مخلوق ضخم يشبه التعبان اسمه ابيب أو ابوفيس
التطور الكبير اللي حصل في صناعه السيارات كان دافع لان الطرق هي كمان تتطور اكتر علشان تواكب التطور ده الطرق والشوارع اللي كانت مرصوفه بالحصا ما كانتش مناسبة لحركه السيارات الجديدة دي وعلشان كده بدأت الدول تتجه لاستخدام الأطران في تبطين الطرق
والطرق يا إما مرصوفة بمواد بدائية زي الصخور والحصا يا إما مش مرصوفة خالص لحد ما وصلنا للقرن التسعتاشر وحصل حدثين في غاية الاهمية سنة 1847 المخترع الاسكتلندي روبرت ويليام تومسون
بعدها بشويه ظهرت حاجه تانية اسمها الترافو ودي كانت عباره عن عصايتين على شكل حرف إي الطرف بتاعهم بيتثبت في ضهر الحمار والنهاية بتاعتها بتبقى على الارض وفي النص شبكه محطوط عليها الحاجه اللي عايزين ننقلها
ما كانتش طرق ممهده الناس زمان كانوا بيستخدموا التيران في حرث الاراضي الزراعيه يربطوا محراث خشب في الطور ويخلوه يحرت الارض مع الوقت فكره المحرات ألهمت المزارعين انهم يعملوا حاجة شبهها وهي الزلاجات
Saudi Samples
Transcript
XTTS
Fishspeech
MMS
نجلس ساعتين ثلاثة، انروِّج شوي، انجول لنا سالفتين، بعدين ندفن الصندوق، اما الحين تبغانا نشيل ونحط ونحفر وندفن، اصبر شوي، فجال له بخيت: طيب خلاص
خمستاشر سنة، وفي يوم من الايام استيقظت من نومي وانا يعني بعمر الخمستاش، وذهبت ابحث عن هذي البنت عشان العب معها، ولمّا دخلت الى غرفتها شُفتها
وماتت أمها ومات ابوها، وورثت من هذي العائلة مبلغ كبير جدًا، صارت كل أموالهم وفلوسهم لي، وبعد مدة التقيت فيكم وهذا انا الحين جالس معكم، وهذي جصتي وجصة تطويشي، وبعد صواب
أما بالنسبة لباجي الامور، فهو في احسنها يخدم يظبط، قوي، سريع، أموره طيبة، الا انه يكذب، وما يكذب كثير يعني، كذبة واحدة بالسنة، فجام هنا واحد من تجار بغداد وجال: انا بشتريه، واتفق هو وسيدي على مبلغ من المال
زعل جدًا، وخرج بنفسه هو وجنوده عشان يُخرِجوا سيدي من تحت الحائط، ولما اقتربنا من البستان، انا ركضت وسبقتهم جميعًا حتى وصلت الى سيدي
Syrian Samples
Transcript
XTTS
Fishspeech
MMS
فتمنى هلأ الكل يكون موجود لحتى لانه هي يعني هي الأكلة بسيطة رز ولحمه بنخلطهم مع بعضهم بعدين بنحطهم بمرقة مرقة البندورة بس لحتى احكي الخطوات كيف
وهون عندي نص كيلو من اللحمة المفرومة الناعمة، حمزة يا هلا، اهلا وسهلا حبيبتي، هون نص كيلو من اللحمة المفرومة الناعمة كمان حطيتها بهاد و.. وحطيتها مع بقدونس وطحنتا
إذا كانت حبه كامله راح تلاقوا فلشت اللحمه كلها وتفتت يعني كلها طلعت رح تنفش حبه الرز كتير وتفرش معي اللحمه تفرط يعني فأنا كسرته بحيث انه
تمام يا صبايا عم تسمعوني، بس يا ريت تكتبوا لي يا ريت كمان تعملوا لنا شير للصبايا الباقيين حتى يشوفوا قبل ما احطهن يعني انا بدي الكل يشوف كيف عملت الرز لانه هي يعني هي الاكلة عبارة عن رز ولحمة
بخلطهم مع بعضهن وبشكلهن بس بدي الكل يعرف شو عملت يعني الكل يشوف شلون قوام الرز قبل ما احطه فوق اللحمة
UAE Samples
Transcript
XTTS
Fishspeech
MMS
واللي تعرف عليهم الاصحاب هدول الشباب وكان عددهم سبعة، هدول همْهم كله نسوان وشرب وخرابيط
يضبِطهم يحاول انه يدخل عليهم يعني، صار يعزمهم عِندَه في الشقة وشاف ان تِستَهويهم موضوع النساء وكذا
وسلّمها لُهم غصب وهذول اهجِموا عليها ويِغتِصبونها السبعة، المهم بعد ما اتركوها على طول توجهت لأقرب مركز شرطة وبلغت
ووضعَه سيء ولما طلع من السِجِن اصبح انسان آخر ليش، السجون يعني في جميع دول العالم معروفة
صحيح انهم مجرمين وقتلة واصحاب مخدرات وكذا، لكن عِندهم نوع من القضايا هذا الغير مقبول انه يكون في مجرم يمارس هالفعل هذا سالفة الإغتصاب تغتصب
Morocco Samples
Transcript
XTTS
Fishspeech
MMS
يُحكى يا سادة يا كرام أنه كان فواحد القرية بعيدة جات ما بين الجبال وداير بيها الواد وهاد القرية كانوا ناسها دراوش
في يوم من الأيام يا سادة يا كرام واحد من الناس ديال القرية زوج بنتو وعرض على الناس ديال القرية كاملين بصغيرهم وبكبيرهم ومن بعد ما فرحوا وكلاو وشربوا
وكيݣول مع راسو واقيلا هاد الأدمي هذا عندو فعلا قوة خارقة وما بايناش عليه وهو يشد عاوتاني واحد الحجرة
العملاق بقا غير كيتعجب فالقوة الخارقة اللي عندو واللي فالحقيقة هي ما قوة خارقة ما تا شي حاجة وإنما غير عبد القادر ركبات فدماغو
أكثر فأكثر ملي تحدى هاد العملاق هذا وما ݣدش عليه وملي شافو عرض عليه للدار ديالو وعرض عليه أنه يولي صديق ديالو حس براسو أنه فعلا
Jordan Samples
Transcript
XTTS
Fishspeech
MMS
كانوا الناس طالعين و كان الثلج شوي بلش يمسك. فاحنا كيفنا و بلاشنا نرمي على السيارات ثلج . ومرق باص اتش 100، وأنا كنت واقف خلص بديش ارمي، اعتزلت الرمي. و يرمولكوا عليها اصحابي
ثلجة كبير.ه ونزل الزلمه و صار يلحق فينا. انا رحت هربت مع اصحابي على السريع يعني بديش يمسكني لحالي. يفكرني انا اللي رميت وواقف. رحت هربت معهم، و احنا بنركض، اوقعلكوا على نص وجهي هيك.
رحت عليه وقلت له بصوت عالي، عشان محمد يسمعني، قلت له: ليش تضرب محمد؟ قال لي حر انا. و قام علي، فلما قام علي يا اخوان هون خفت. هو لما كان قاعد عالارض، كان هيك مخفي حجمه فانا قويت قلبي. و صرت اصرخ عليه لانه كان حجمه مبين صغير فانا هين استسخفت فيه. بس لما قام أنا كنت واصل لبطنه يا جماعة. رفعت راسي أنا زي هيك
ودخل العملاق مع فريقه و بلشنا نلعب. أنا صرت اشوت من بعيد وضليت اشوت لحتى جبت جول. المهم بعدين العملاق مسك الطابه و صار يهجم علينا بالطابه. غمازت لمحمد و رحنا ركضنا أنا واياه مع بعض عشان نكسر العملاق. احنا وصلنا عنده، و كسرناه بس ظل ثابت، ما وقع. ظل ثابت بالارض هيك ضل واقف
و طلعت الطابة على سطح المدرسة. و صرنا نسب عليه يا حمار ليش بتشوت مادام ما بتعرف تشوت. ما احنا عارفينك افكح. فانا قلت للشباب خلص بنكمل اللعبة بطابتي اللي موجودة برة. فرحت على الشباب الكبار اللي اعمارهم بالعشرينات و قلت لهم هاي الطابه طابتي وبنلعب فيه.ا حكوا لي متاكد انه هاي طابتك؟
Manual Evaluation Results (MOS)
XTTS
Fishspeech
MMS
ElevenLabs
Speaktor
ArTST
Egypt
4.18±0.34
3.88±0.22
1.94±0.43
4.19±0.27
2.09±0.67
1.70±0.31
Syria
2.57±0.86
3.52±0.72
1.86±0.52
3.95±0.46
2.19±0.33
1.48±0.47
Saudi
3.66±0.45
3.70±0.47
2.35±0.44
3.57±0.30
2.39±0.34
2.81±0.62
UAE
4.11±0.51
3.45±0.50
2.62±0.97
3.55±0.26
2.48±0.59
1.59±0.62
Morocco
4.38±0.57
2.85±0.18
2.71±0.32
3.04±0.88
2.30±0.27
1.56±0.17
Jordan
3.70±0.57
3.37±0.43
1.52±0.37
3.30±0.33
2.23±0.45
1.58±0.48
Average
3.76±0.55
3.46±0.42
2.17±0.49
3.60±0.42
2.24±0.44
1.79±0.45
Results of manual evaluation (MOS) on plain text generation using all models in our study recorded on a scale from one to five. XTTS, fishspeech, and MMS are models fine-tuned on our training set, while the rest of the models are used out of the box.
ASR Evaluation Results (WER/CER)
Gold
XTTS
Fishspeech
MMS
ElevenLabs
Speaktor
ArTST
Egypt
25/06
35/10
27/08
60/22
21/05
40/25
80/60
Syria
36/11
43/15
34/12
161/129
20/05
38/17
71/45
Saudi
28/09
37/11
33/11
65/25
25/06
32/08
68/47
UAE
32/09
41/15
28/10
93/54
20/05
31/13
55/34
Morocco
36/10
42/13
68/23
119/83
49/14
52/28
84/52
Jordan
55/21
57/30
53/26
101/69
38/08
42/15
84/67
Results for all models on plain text generation using ASR models in WER/CER format. Gold is the original audio from the test set.