Desain bangunan masjid Agung Kisaran berbentuk segi empat simetris dan memiliki atap bertingkat dua. Selain itu, pada atap tersebut juga diletakkan sebuah kubah besar sebagai kubah induknya dengan cincin yang diberi warna strip emas. Disekeliling kubah induk juga ada 4 menara yang menjulang tinggi pada ke 4 sudut masjid yang diberi warna emas, sama dengan warna kubahnya. Bukan Cuma ada kubah induk yang ada di atas masjid ini, ada juga kubah pendamping yang berukuran lebih kecil diatas setiap beranda masjid tersebut.

Eksterior masjid ini berwarna putih serta kuning ditambah dengan aksen berwarna hijau lumut di bagiaan kerawang atau yang menutup bukaan serambi majid. Walaupun dibangun dengan mengadopsi konsep bangunan masjid modern, namun bangunan masjid Agung H. Ahmad Bakrie Kisaran juga mempunyai aksen melayu yang kental. Hal ini bisa dilihat dengan tambahan ornament pada bagian atas dinding eksterior masjid berwarna kuning. Maupun cincin penopang kubah induk serta cincin yang melingkari menara masjid berwarna kuning emas ini. Untuk sisi kerawangnya telah didominasi dengan adanya pola geometris dan warna hijau lumut.

Kubah masjid yang digunakan termasuk kubah panel enamel. Jenis kubah inilah yang sekarang ini sangat populer dikalangan masjid modern. Sehingga banyak yang mengganti kubah konvensionalnya dengan bahan panel enamel untuk bangunan kubah masjidnya. Bahan ini selain memiliki ketahanan yang sangat bagus juga mempunyai ketahanan warna hingga 20 tahun.

Sehingga banyak yang beralih memilih jenis kubah ini untuk bangunan masjidnya. Tersedia banyak warna yang mencolok yang sesuai dengan bangunan masjid yang ada. Namun untuk kubah masjid agung kisaran sendiri memilih warna yang natural seperti bangunan masjidnya. Yakni warna putih bersih dan kuning emas untuk kubah bagian bawahnya. Warna ini sangat elegan dan megah untuk sebuah masjid dengan kesan melayu yang ada didalamnya.