İshak Refet Işıtman; 17. yüzyılın ortalarına doğru Kozan çevresinden göçüp önce Darende’ye, sonra Antep’e gelerek burada yerleşen üç kardeşten Ali Efendi adında bilgin ve hayır sahibi bir kişinin soyundan gelmiştir. Bundan ötürü ailesi "Ali Efendi oğlu" diye anıldığı gibi "Kozanizade" soyadıyla da söylenirdi. Şer'i mahkeme sicillerinde her iki soyadı geçmektedir.

Ali Efendi’nin iki kardeşinden üreyen aileler Güceylioğlu ve Şerefedinoğlu adlarını taşırlar. Ali Efendi oğulları gibi Güceylioğulları ve Şerefedinoğullarından da şair, bilgin, Nakîbüleşraf kaymakamı, Belediye başkanı gibi devlet hizmetlerine yükselen seçkin kişiler yetişmiştir. Üç kardeş Darende’den Gaziantep’e gelirken nedenini henüz kesin olarak tespit edemediğimiz bir olaydan ötürü kafileden ayrılarak Güce köyünde kalmış, sonradan Antep’e gelmiş bulunduğundan çocukları Güceylioğlu diye anılmıştır.

Ali Efendi Antep’e geldikten sonra şimdiki Kuzanlı semtinde yerleşmiş olduğundan, bu semte geldikleri yer olan Kozan’a nisbetle "Kozanlı" denilmiş; ancak sözcük halk ağzında "Kuzanlı" biçimini almıştır. Bundan başka Ali Efendi’nin yaptırdığı tapınağa Kuzanlı Camii, beşinci kuşakta torunu Hacı Arif Efendi’nin kurduğu medreseye de Kuzanlı Medresesi denmiştir. Ali Efendi ile üçüncü kuşaktaki torunu Hâkî Abdurrahman Efendi, bunun oğlu İshak Efendi ve İshak Efendi oğlu yukarıda adı geçen Hacı Arif Efendi uzun süre Antep müftülüğü yapmışlardır.

Hâkî Abdurrahman Efendi yalnız uzun süre müftülük etmiş bilgin bir din adamı değil, aynı zamanda şair ve dilcidir. Cenanilerden Hattat, Şair, Dilci Şeyh Ahmet'in 1641 yılında yazdığı Nazmü’l-leâl Arapçadan Türkçeye manzum lügatini, Savğü’l-melâl fî Şerh-i Nazmi’l-leâl adıyla 1754 yılında şerheylemiştir.

Şair İshak Refet Işıtman; Hacı Arif Efendi’nin oğlu Yakup Efendi’nin torunu Hacı İzzet Efendi’nin dört çocuğundan en büyüğüdür. Yakup Efendi, İbrahim Paşa ile Antep milislerinin Mizar-Orul köyleri arasındaki savaşında esir düşmüş, sonra kaçmayı başarmıştır. O çağın ünlü kişilerinden Nur Ali Ağa’nın oğlu olup Nuri Mehmet Paşa Camii'nin batı bitişiğinde medrese yaptıran, Antep mütesellimi iken idam edilen Hüseyin Ağa, Yakup Efendi’nin annesinin babasıdır.

İshak Refet’in annesi Fatma Hanım; 19. yüzyılda mütesellimlik ve ayanlık gibi o devrin ilçelerdeki yüksek birer mevkii olan görevlerde bulunan Seyit Ağazade Mehmet Bey oğlu Halil Bey'in kızıdır. Halil Bey’in kız kardeşi, "Asiye Valide" diye anılan saygın bir hanımdır ki bir zamanlar bir veli olarak ziyaret edilen, çocukları şimdi Göksel soyadını taşıyan Şuayipzade Ali Efendi’nin hanımı idi.

Seyit Ağazade Mehmet Bey’in annesi Zeynep Hanım, ünlü dil bilgini, şair, tarihçi ve mütercim Âsım’ın baldızıdır.