Gaziantep'te doğan Ayvaz Gökdemir, önce Ankara Yüksek Öğretmen Okulu'nu ardından, Ankara Üniversitesi Dil ve Tarih-Coğrafya Fakültesi Türk Dili ve Edebiyatı Bölümü'nü bitirdi. Kayseri Lisesi'nde eşi Sevgi Gökdemir ile birlikte edebiyat öğretmenliği yaptı. Bu dönemde, Kayseri Türk Kültür Derneği'nde gençlere seminerler vererek onlara milliyetçilik duyguları aşılamaya çalıştı. Bu arada, aylık Şafak Dergisi'nin yayınlanmasına öncülük etti ve bu dergide kendi görüşleri doğrultusunda birçok makale yazdı. Orkun, Ocak, Töre ve Devlet gibi dergilerde görüş yazıları yazdı. Milliyetçi Cephe Hükümetleri döneminde Öğretmen Okulları Genel Müdürlüğü görevinde bulundu. Bu dönemde yaptığı uygulamalarla çeşitli eleştirilere hedef oldu. Bu görevine son verilince Türk Ansiklopedisi editörlüğü, ayrıca Özel Yükseliş Koleji'nde Genel Koordinatörlük yaptı.

Ayvaz Gökdemir, TBMM'de 19. Dönem Gaziantep, 20. Dönem Kayseri, 21. Dönem Erzurum Milletvekilliği yapmış; 50, 51, 52 ve 53. Cumhuriyet Hükümetlerinde devlet bakanlığı yapmıştır. Evli ve 3 çocuk babası olan Gökdemir, 19 Nisan 2008'de katıldığı Ankara'da düzenlenen Türk Ocakları 37. Olağan Genel Kurulu'nda kalp krizi geçirerek hayatını kaybetmiştir.