Abdullah bin Umar pernah berkata tentang orang-orang yang mulia. "Ada tiga orang Quraiys yang sangat cemerlang wajahnya, tinggi akhlaknya dan sangat pemalu. Bila berbicara mereka tidak pernah dusta. Dan apabila orang berbicara, mereka tidak cepat-cepat mendustakan. Mereka itu adalah Abu Bakar Ash-Shiddiq, Utsman bin Affan, dan Abu Ubaidah bin Jarrah."
Abu Ubaidah termasuk kelompok pertama sahabat yang masuk Islam. Dia masuk Islam atas ajakan Abu Bakar Ash-Shiddiq, sehari setelah Abu Bakar masuk Islam. Waktu menemui Rasulullah SAW, dia bersama-sama dengan Abdurrahman bin Auf, Utsman bin Mazh'un dan Arqam bin Abi Arqam untuk mengucapkan syahadat di hadapan beliau. Oleh sebab itu, mereka tercatat sebagai pilar pertama dalam pembangunan mahligai Islam yang agung dan indah.
Dalam kehidupannya sebagai Muslim, Abu Ubaidah mengalami masa penindasan yang kejam dari kaum Quraiys di Makkah sejak permulaan sampai akhir. Dia turut menderita bersama kaum Muslimin lainnya. Walau demikian, ia tetap teguh menerima segala macam cobaan, tetap setia membela Rasulullah SAW dalam tiap situasi dan kondisi apa pun.
Dalam Perang Badar, Abu Ubaidah berhasil menyusup ke barisan musuh tanpa takut mati. Namun tentara berkuda kaum musyrikin menghadang dan mengejarnya. Kemana pun ia lari, tentara itu terus mengejarnya dengan beringas. Abu Ubaidah menghindar dan menjauhkan diri untuk bertarung dengan pengejarnya. Ketika si pengejar bertambah dekat, dan merasa posisinya strategis, Abu Ubaidah mengayunkan pedang ke arah kepala lawan. Sang lawan tewas seketika dengan kepala terbelah.
Siapakah lawan Abu Ubaidah yang sangat beringas itu? Tak lain adalah Abdullah bin Jarrah, ayah kandungnya sendiri! Abu Ubaidah tidak membunuh ayahnya, tapi membunuh kemusyrikan yang bersarang dalam pribadi ayahnya.
Berkenaan dengan kasus Abu Ubaidah ini, Allah SWT berfirman: "Kamu tak akan mendapati kaum yang beriman pada Allah dan hari akhirat, saling berkasih-sayang dengan orang-orang yang menentang Allah dan Rasul-Nya, sekalipun orang-orang itu bapak-bapak, atau anak-anak atau saudara-saudara ataupun keluarga mereka. Mereka itulah orang-orang yang telah menanamkan keimanan dalam hati mereka dan menguatkan mereka dengan pertolongan yang datang daripada-Nya. Dan dimasukan-Nya mereka ke dalam surga yang mengalir di bawahnya sungai-sungai, mereka kekal di dalamnya. Allah ridha terhadap mereka, dan merekapun merasa puas terhadap (limpahan rahmat)-Nya. Mereka itulah golongan Allah. Ketahuilah, bahwa sesungguhnya hizbullah itu adalah golongan yang beruntung." (QS Al-Mujaadalah: 23)
Ayat di atas tidak membuat Abu Ubaidah besar kepala dan membusungkan dada. Bahkan menambah kokoh imannya kepada Allah dan ketulusannya terhadap agama-Nya. Orang yang mendapatkan gelar "kepercayaan umat Muhammad" ini ternyata menarik perhatian orang-orang besar, bagaikan magnet yang menarik logam di sekitarnya.
Pada suatu ketika, utusan kaum Nasrani datang menghadap Rasulullah seraya berkata, "Wahai Abu Qasim, kirimlah kepada kami seorang sahabat anda yang pintar menjadi hakim tentang harta yang menyebabkan kami berselisih sesama kami. Kami senang menerima putusan yang ditetapkan kaum Muslimin."
"Datanglah sore nanti, saya akan mengirimkan kepada kalian 'orang kuat yang terpercaya'," kata Rasulullah SAW.
Umar bin Al-Khathab berujar, "Aku ingin tugas itu tidak diserahkan kepada orang lain, karena aku ingin mendapatkan gelar 'orang kuat yang terpercaya'."
Selesai shalat, Rasulullah menengok ke kanan dan ke kiri. Umar sengaja menonjolkan diri agar dilihat Rasulullah. Namun beliau tidak menunjuknya. Ketika melihat Abu Ubaidah, beliau memanggilnya dan berkata, "Pergilah kau bersama mereka. Adili dengan baik perkara yang mereka perselisihkan!"
Abu Ubaidah berangkat bersama para utusan tersebut dengan menyandang gelar "orang kuat yang terpercaya".
Abu Ubaidah selalu mengikuti Rasulullah berperang dalam tiap peperangan yang beliau pimpin, hingga beliau wafat.
Dalam musyawarah pemilihan khalifah yang pertama (Al-Yaum Ats-Tsaqifah), Umar bin Al-Khathab mengulurkan tangannya kepada Abu Ubaidah seraya berkata, "Aku memilihmu dan bersumpah setia, karena aku pernah mendengar Rasulullah bersabda, 'Sesungguhnya tiap-tiap umat mempunyai orang kepercayaan. Dan orang paling dipercaya dari umat ini adalah engkau."
Abu Ubaidah menjawab, "Aku tidak mau mendahului orang yang pernah disuruh Rasulullah untuk mengimami kita shalat sewaktu beliau hidup—Abu Bakar Ash-Shiddiq. Walaupun sekarang beliau telah wafat, marilah kita imamkan juga dia."
Akhirnya mereka sepakat untuk memilih Abu Bakar menjadi khalifah pertama, sedangkan Abu Ubaidah diangkat menjadi penasihat dan pembantu utama khalifah.
Setelah Abu Bakar wafat, jabatan khalifah pindah ke tangan Umar bin Al-Khathab. Abu Ubaidah selalu dekat dengan Umar dan tidak pernah menolak perintahnya. Pada masa pemerintahan Umar, Abu Ubaidah memimpin tentara Muslimin menaklukkan wilayah Syam (Suriah). Dia berhasil memperoleh kemenangan berturut-turut, sehingga seluruh wilayah Syam takluk di bawah kekuasaan Islam, dari tepi sungai Furat di sebelah timur hingga Asia kecil di sebelah utara.
Abu Ubaidah meninggal dunia karena terkena penyakit menular yang mewabah di Syam. Menjelang wafatnya, ia berwasiat kepada seluruh prajuritnya, "Aku berwasiat kepada kalian. Jika wasiat ini kalian terima dan laksanakan, kalian tidak akan sesat dari jalan yang baik, dan senantiasa dalam keadaan bahagia. Tetaplah kalian menegakkan shalat, berpuasa Ramadhan, membayar zakat, dan menunaikan haji dan umrah. Hendaklah kalian saling menasihati sesama kalian, nasihati pemerintah kalian, dan jangan biarkan mereka tersesat. Dan janganlah kalian tergoda oleh dunia. Walaupun seseorang berusia panjang hingga seribu tahun, dia pasti akan menjumpai kematian seperti yang kalian saksikan ini."
Kemudian dia menoleh kepada Mu'adz bin Jabal, "Wahai Muadz, sekarang kau yang menjadi imam (panglima)!"
Tak lama kemudian, ruhnya meninggalkan jasad untuk menjumpai Tuhannya.
