تأسست جمعية العلماء المسلمين الجزائريين يوم 5 مايو 1931 في (نادي الترقي) بالعاصمة جزائر إثر دعوة وجهت إلى كل عالم من علماء الإسلام في الجزائر, من طرف (هيئة مؤسسة) مؤلفة من أشخاص حياديين ينتمون إلى نادي الترقي غير معروفين بالتطرف, لا يثير ذكرهم حساسية أو شكوكا لدى الحكومة, ولا عند الطرقيين. أعلنوا : أن الجمعية دينية تهذيبية تسعى لخدمة الدين والمجتمع, لا تتدخل في السياسة ولا تشتغل بها.
لبّى الدعوة وحضر الاجتماع التأسيسي أكثر من سبعين عالما, من مختلف جهات الجزائر ، ومن شتى الاتجاهات الدينية والمذهبية : (مالكيين واباضيين, مصلحين وطرقيين, موظفين وغير موظفين), وانتخبوا مجلسا إداريا للجمعية من أكفأ الرجال علما وعملا, يتكون من ثلاثة عشر عضوا برئاسة الشيخ ابن باديس, الذي لم يحضر إلا في اليوم الأخير للاجتماع وباستدعاء خاص مؤكد, فكان انتخابه غيابيا.
لم يكن رئيس الجمعية ولا معظم أعضاء مجلسها الإداري من سكان العاصمة, لذلك عينوا (لجنة للعمل الدائم) ممن يقيمون بالعاصمة, تتألف من خمسة أعضاء برئاسة عمر إسماعيل, تتولى التنسيق بين الأعضاء, وتحفظ الوثائق, وتضبط الميزانية, وتحضر للاجتماعات الدورية للمجلس الإداري.
لم يحضر ابن باديس الاجتماع التأسيسي للجمعية من الأول, وكان وراء ذلك هدف يوضحه الشيخ خير الدين أحد المؤسسين الذي حضر الجلسات العامة والخاصة لتأسيس الجمعية, يقول : "كنت أنا والشيخ مبارك الميلي في مكتب ابن باديس بقسنطينة يوم دعا الشيخ أحد المصلحين (محمد عبابسة الاخضري) وطلب إليه أن يقوم بالدعوة إلى تأسيس (جمعية العلماء المسلمين الجزائريين) في العاصمة وكلفه أن يختار ثلة من (جماعة نادي الترقي) الذين لا يثير ذكر أسمائهم شكوك الحكومة, أو مخاوف أصحاب الزوايا, وتتولى هذه الجماعة توجيه الدعوة إلى العلماء لتأسيس الجمعية (في نادي الترقي بالعاصمة) حتى يتم الاجتماع في هدوء وسلام, وتتحقق الغاية المرجوة من نجاح التأسيس. ويقول الشيخ خير الدين : "وأسر إلينا ابن باديس أنه سوف لا يلبي دعوة الاجتماع ولا يحضر يومه الأول حتى يقرر المجتمعون استدعاءه ثانية بصفة رسمية, لحضور الاجتماع العام, فيكون بذلك مدعوا لا داعيا, وبذلك يتجنب ما سيكون من ردود فعل السلطة الفرنسية وأصحاب الزوايا, ومن يتحرجون من كل عمل يقوم به ابن باديس".
وهكذا تأسست الجمعية, وتشكل مجلسها الإداري المنبثق عن الاجتماع العام, وانطلق نشاط الجمعية في تنفيذ برنامجها الذي كان قد ضبط محاوره الإمام ابن باديس في الاجتماع الذي عقد عام 1928 مع صفوة من العلماء الذين رجعوا من المشرق ومن تونس, والذي سبق ذكره, واستجاب الشعب لهذا البرنامج, وبدا يؤسس المساجد وينشئ المدارس والنوادي بأمواله الخاصة, ويستقبل العلماء ويُيَسر لهم الاضطلاع بمهمتهم.
وحتى يسهل الإشراف على متابعة العمل الإصلاحي, وتنشيط العمل التربوي, الذي يقدم في المدارس الحرة, التي بدأت تنتشر في أرجاء القطر, كلف الإمام عبد الحميد بن باديس باقتراح من الجمعية الشيخ الطيب العقبي بأن يتولى الإشراف على العمل الذي يجري في العاصمة وما جاورها, وكلف الشيخ البشير الإبراهيمي بأن يتولى العمل الذي يجري بالجهة الغربية من البلاد, انطلاقا من تلمسان, وأبقى بقسنطينة وما جاورها تحت إشرافه شخصيا, وهكذا تقاسم الثلاثة العمل في القطر كله.
وتنفيذا لما تضمنه القانون الأساسي للجمعية تم إحداث فروع لها (شعب) في جهات مختلفة من القطر, ففي السنة الأولى تم تأسيس 22 شعبة, وفي سنة 1936 كان عدد الشعب 33 شعبة, أما في سنة 1938 فقد تطور العدد إلى 58 شعبة, واستمر هذا الجهد التعليمي والإصلاحي رغم العراقيل والاضطهاد الذي كان العلماء والمعلمون عرضة له, ولكن الملاحظة التي يجب تسجيلها هنا هي أن الشعب أقبل على التعليم الحر بكيفية خارقة للعادة, لذلك انتشرت المدارس في جميع مدن الجزائر وقراها.
وبعد مضي ست سنوات من عمر الجمعية, بادر الإمام عبد الحميد بن باديس بوضع إطار حرّ وشامل للجمعية وهو أشبه بميثاق أو دستور وضعه لتسير على هديه الجمعية في نشاطها الإصلاحي والتعليمي, فحدد من خلال هذا الإطار ما اسماه "بدعوة جمعية العلماء وأصولها" ونشره في مجلة الشهاب العدد الرابع, المجلد الثالث عشر في جوان 1937 ثم طبع ووزع على العموم.
وقد تشكل مجلس الجمعية على النحو التالي :
1- الرئيس : عبد الحميد بن باديس.
2- نائب الرئيس : محمد البشير الإبراهيمي.
3- الكاتب العام : محمد الأمين العمودي.
4- نائب الكاتب العام : الطيب العقبي.
5- أمين المال : مبارك الميلي.
6- نائب أمين المال : إبراهيم بيوض.
أعضاء مستشارين:
7- المولود الحافظي.
8- الطيب المهاجي.
9- مولاي بن شريف.
10- السعيد اليجري.
11- حسن الطرابلسي.
12- عبد القادر القاسمي.
13- محمد الفضيل اليراتني