الرسالة الثانية : إلى أبي عبيدة خاصةً يقول له فيها: من عبد الله عمر، إلى أبي عبيدة بن الجراح، سلامٌ عليك، فإني أحمد الله الذي لا إله إلا هو، وأصلي على نبيه محمد ، وبعد، فقد وليتك أمور المسلمين، فلا تستحي فإن الله لا يستحي من الحق، وإني أوصيك بتقوى الله الذي أخرجك من الكفر إلى الإيمان، ومن الضلال إلى الهدى، وقد استعملتك على جند خالد، فاقبض جنده، واعزله عن إمارته.
وكانت هذه الرسالة في 26 من رجب عام 13هـ، وأُسْقِطَ في يد أبي عبيدة، فلم يكن راضيًا عن نزع خالد عن إمرة الجيش، لما يرى له من بأس على الكفار ورحمة على المسلمين ولمقدرته على القيادة، وخبرته بأمور القتال. فيطلب معاذ بن جبل ، ويستشير بعض المسلمين، ويتداول المسلمون الأمر فيما بينهم، حتى يصل الأمر إلى خالد بن الوليد ، (من تاريخ دمشق: فأقبل حتى دخل على أبي عبيدة فقال: يغفر الله لك يا أبا عبيدة؛ أتاك كتاب أمير المؤمنين بالولاية؛ فلم تُعْلِمْني وأنت تصلِّي خلفي والسلطان سلطانك!!)، (لأن الصلاة تكون للأمير، أو الوالي على المسلمين، حتى وإن كان مَنْ خلفه أقرأ منه، وكان هذا فقط ما أقلق خالدًا ، فلم يسأله: لم عزله عمر؟ ولم يعترض على رأي خليفة المسلمين!) فقال أبو عبيدة: وأنت يغفر الله لك، والله ما كنت لأعلمك ذلك حتى تعلمه من عند غيري، وما كنت لأكسر عليك حربك حتى ينقضي ذلك كله, ثم قد كنت أُعْلِمُكَ بعد ذلك، وما سلطان الدنيا أريد وما للدنيا أعمل، وإنَّ ما ترى سيصير إلى زوال وانقطاع، وإنما نحن إخوان وقُوَّام بأمر الله ، وما يضر الرجل أن يلي عليه أخوه في دينه ولا دنياه، بل يعلم الوالي أنه يكاد أن يكون أدناهما إلى الفتنة وأوقعهما في الخطيئة إلا من عصم الله وقليل ما هم.
وهكذا، لم يعلق خالد على مسألة عزله، وتولَّى أبو عبيدة بن الجراح إمرة جيوش المسلمين في الشام.