يعد المسجد الأقصى المبارك ثاني المساجد التي بنيت علي وجه الكرة الأرضية بعد المسجد الحرام (الكعبة)، فقد ورد في الحديث الصحيح أن أبا ذر الغفاري سأل النبي صلي الله عليه وسلم: {يا رسول الله، أي مسجد وضع في الأرض أول؟ قال: المسجد الحرام، قال ثم أي يا رسول الله؟ فقال: المسجد الأقصى ... قال كم بينهما؟ قال أربعون عاماً).
هناك عدة آراء حول بناء الكعبة، والراجح أنها بنيت في عهد إبراهيم عليه السلام، وهذا يعني أن المسجد الأقصى أيضاً بني في عهده، وبذلك يكون بناؤه قبل بناء هيكل سليمان عليه السلام بما يزيد عن تسعمائة سنة.
ظل المسجد الأقصى قائماً، وعندما أسري الله تعالي برسوله صلي الله عليه وسلم من المسجد الحرام إلي المسجد الأقصى، صلي بالأنبياء فيه، ثم عرج به إلي السماء، وكان هذا إيذاناً بفتح المسجد الأقصى، وبياناً لأهميته ومركزيته في الإسلام.
وفي عام 15 ه الموافق 636م فتح المسلمون بيت المقدس ووصل عمر بن الخطاب لها، وتسلم مفاتيح المدينة من بطريكان صفر وينوس، وأعطي أهلها الأمان، نظف هو والمسلمون المسجد الأقصى، وبدأت الصلاة فيه.
اهتم الأمويون بعمادة المسجد الأقصى، وبني عبد الملك بن مروان مسجداً جديداً هو مسجد قبة الصخرة ذو القبة الذهبية، والأضلاع الثمانية، وذلك سنة 72 ه 691م، واهتم ببناء المسجدين، وصرف عليهما أموالاً كثيرة، وجلب المهندسين والمعماريين من أماكن مختلفة للقيام بذلك.
تعرض المسجد الأقصى في العصر العباسي لزلزال عام 130ه أدي إلي تهدم أجزاء من المسجد، فقام العباسيون بترميمه، وفي عام 158ه وقع زلزال آخر تهدم فيه المسجد فأعاد الخليفة المهدي بناء المسجد بعناية كبيرة، كما رمم الخليفة المأمون المسجد عام 210ه بعد زلزال ثالث أصاب الأقصى.
وتعرض الأقصى للزلزال أيضاً في عهد الفاطميين في عام 425ه، وعام 448ه وقد تم ترميم المسجد بعد ذلك.
وقعت القدس تحت الاحتلال الصليبي عام 493ه، 1099م وارتكبوا مجازر بشعة في ساحات المسجد الأقصى، وقام الصليبيون بتغيير معالم المسجد، وحولوه إلي كنيسة ومخزن أسلحة، ومسكناً للفرسان واستبدلوا الهلال الذي يعلو مسجد قبة الصخرة بالصليب، فلما استرد صلاح الدين بيت المقدس في 27 رجب 583ه أمر بتطهير المسجد الأقصى، وأعاد لمسجد قبة الصخرة الهلال.
وفي عهد الممالك حظي المسجد الأقصى بعناية خاصة، وكثرت أعمال السلاطين العمرانية فيه، وكان آخر كسوة قبة المسجد الأقصى بطبقة الرصاص سنة 915ه، وفي العهد العثماني حدثت عدة إصلاحيات وترميمات وإضافات في المسجد الأقصى.
وخلال الاحتلال البريطاني قام المجلس الإسلامي الأعلى عام 1922م بعملية ترميم، لكن زلزالاً المدينة عام 1927م وظهرت أثاره عام 1936م فبدأ الترميم عام 1948م.
تعرض المسجد الأقصى عم 1948م للقصف الإسرائيلي، وتضرر قسم منه، فتم إصلاح الأضرار في العهد الأردني.