Menjadi Gubernur Madinah

Al-Walid naik takhta pada 705 setelah ayahnya mangkat. Secara silsilah, Al-Walid dan 'Umar bin 'Abdul 'Aziz adalah sepupu. Melalui pernikahan, mereka berdua adalah saudara ipar. 'Umar menikah dengan Fatimah, saudari Al-Walid, dan Al-Walid merupakan suami Ummul Banin, saudari 'Umar.

Salah satu kebijakan Al-Walid adalah mengangkat 'Umar bin 'Abdul 'Aziz sebagai gubernur Madinah. Di masa sebelumnya, Madinah yang menolak kepemimpinan Umayyah ditundukkan secara paksa oleh pihak Umayyah pada Pertempuran al-Harrah pada masa Khalifah Yazid. Gubernur Madinah sebelumnya, Hisyam bin Ismail al-Makhzumi, dikenal sangat keras dalam memerintah. Penunjukan 'Umar bin 'Abdul 'Aziz dimaksudkan untuk meredam ketegangan antara penduduk Madinah dengan pihak Umayyah dan menjembatani kedua belah pihak. 'Umar mulai menjabat pada bulan Februari atau Maret tahun 706 dan wilayah kewenangannya kemudian diperluas ke Makkah dan Tha'if.

'Umar juga kerap memimpin rombongan haji dan menunjukkan dukungan pada para ulama Madinah, khususnya Said bin al-Musayyib yang merupakan salah satu Tujuh Fuqaha Madinah. 'Umar tidak membuat keputusan tanpa berdiskusi dengan Said terlebih dahulu, salah satunya adalah masalah perluasan Masjid Nabawi. Khalifah Al-Walid memerintahkan perluasan masjid yang menjadikan rumah Nabi Muhammad harus turut direnovasi. 'Umar membacakan keputusan ini di depan penduduk Madinah sehingga banyak dari mereka yang menangis. Berkata Said bin al-Musayyib, "Sungguh aku berharap agar rumah Rasulullah tetap dibiarkan seperti apa adanya sehingga generasi Islam yang akan datang dapat mengetahui yang sesungguhnya tata cara hidupnya yang sederhana".

Dalam menjalankan tugasnya, 'Umar membentuk sebuah dewan syura (musyawarah) yang kemudian bersama-sama dengannya menjalankan pemerintahan provinsi. Mereka yang ditunjuk sebagai anggota dewan syura Madinah adalah:

Al-Qasim bin Muhammad bin Abu Bakar ash-Shiddiq

Sulaiman bin Yasar

'Urwah bin az-Zubair bin 'Awwam

Kharijah bin Zaid bin Tsabit

'Ubaidallah bin 'Abdullah bin 'Utbah

Abu Bakar bin 'Abdur-Rahman al-Makhzumi

Abu Bakar bin Sulaiman bin Abi Hatsmah

Salim bin 'Abdullah bin 'Umar bin Khattab

'Abdullah bin 'Abdullah bin 'Umar

'Abdullah bin 'Amin bin Rabiah.

Enam nama pertama yang disebutkan termasuk Tujuh Fuqaha Madinah.

Masa di Madinah itu menjadi masa yang jauh berbeda dengan pemerintahan sebelumnya, dan keluhan-keluhan resmi ke Damaskus (ibukota kekhalifahan saat itu) berkurang dan dapat diselesaikan di Madinah. 'Umar juga cenderung longgar dalam menghadapi para ulama yang kerap melayangkan kritik terhadap pemerintahan Umayyah. Dalam masalah pribadi, 'Umar bin 'Abdul 'Aziz memiliki gaya hidup yang mewah saat menjadi gubernur. Segala kebijakan yang diambil menjadikan 'Umar bin 'Abdul 'Aziz sebagai pejabat yang terkenal akan kesalehan dan kebijaksanaannya.

Kemasyhuran 'Umar bin 'Abdul 'Aziz menjadikan kelompok syiah dari kawasan Iraq yang dipandang sebagai penentang Umayyah mencari suaka di Madinah lantaran mendapat penindasan dari gubernur tempat mereka berasal, Al-Hajjaj bin Yusuf.[9] 'Umar melayangkan surat kepada Al-Walid mengenai perbuatan Al-Hajjaj, tapi surat itu bocor dan diketahui Al-Hajjaj. Al-Hajjaj menanggapinya dengan mengatakan pada Al-Walid melalui surat bahwa semua kebijakan yang dia ambil dibuat untuk mengamankan keadaan negara, juga kemudian berbalik menyalahkan 'Umar bin 'Abdul 'Aziz lantaran dipandang terlalu lemah dalam menghadapi para penentang yang dikhawatirkan akan melemahkan pengaruh Umayyah. Sebagai catatan, Al-Hajjaj adalah tangan kanan khalifah sejak masa 'Abdul Malik bin Marwan yang berkuasa selama lebih dari dua dekade. Pengaruh Al-Hajjaj semakin menguat pada masa Al-Walid lantaran Al-Walid merasa berutang budi pada Al-Hajjaj atas dukungannya. Sesuai saran Al-Hajjaj, Al-Walid memberhentikan 'Umar bin 'Abdul 'Aziz, kemudian mengangkat 'Utsman bin Hayyan sebagai Gubernur Makkah dan Khalid bin 'Abdullah sebagai Gubernur Madinah. Setelah dicopot jabatannya, 'Umar bin 'Abdul 'Aziz berada di istana Al-Walid di Damaskus. Menurut sejarawan 'Abbasiyah Ahmad Al-Ya'qubi, 'Umar melakukan shalat jenazah pada Al-Walid saat dia mangkat pada 715.