Pada asalnya masjid di jalan Changzhou itu ialah sebuah pejabat pos yang dibina oleh orang Jerman pada tahun 1889. Bangunan tersebut menjadi semakin usang setelah dimakan usia dan akibat perubahan cuaca. Perkara ini telah menarik perhatian kerajaan tempatan. Kerajaan bandar Qingdao membuat keputusan untuk membina semula masjid ini dan telah memberikan sumbangan sebanyak tiga juta yuan RMB. Sementara itu, Beijing pula telah berjaya memperoleh kelayakan untuk menganjurkan Sukan Olimpik 2008, maka Qingdao telah dipilih untuk menjadi bandar kerjasama Beijing bagi menganjurkan acara perlumbaan kapal layar dan papan luncur angin. Dengan peluang keemasan ini, kawasan seluas kira-kira 7 ribu meter persegi ini ditetapkan untuk masjid yang baru. Selain itu, beberapa persatuan lain seperti persatuan agama Buddha dan ajaran Tao juga turut memberi bantuan kepada Persatuan Islam Qingdao untuk membina sebuah masjid baru di Jalan Tong'an.

Masjid Qingdao siap dibina pada tahun 2006. Para jemaah bukan sahaja dapat melakukan aktiviti keagamaan dalam masjid yang moden dan baru ini, malah dapat menikmati masakan halal yang enak.