Rumkale , Gaziantep’in Yavuzeli İlçesi sınırları için Kasaba Köyü yakınlarındadır. Antik dönemden kalan Rumkale , Şitamrat, Kal-a Rhomayta, Hromklay, Ranculat, Kal-at el Rum, Kal-at el Müslimin, Kale-i Zerrin (Altın Kale) gibi birçok isimle adlandırılmıştır.
Rumkale bir zamanlar Halfeti (Şanlıurfa) ile Gaziantep arasında sınır oluşturan Fırat ırmağı kıyısında yer alırdı. Merzimen çayının suyu Rumkale dibinde, derin ve sarp vadi içinde akan Fırat nehrine karışırdı. Günümüzde üç yanı Baraj gölüyle çevrilmiş olup, yarım ada görünümündedir. Kalenin eteklerinde ise aşağı şehir bulunmaktaydı.
Rumkale’nin doğu ve batıdan olmak üzere iki ana giriş kapısı mevcuttur. Doğu girişi Fırat nehriyle, batı girişi ise Merzimen çayı üzerine kurulmuştu. Bugün sadece ayaklarının kalıntısı mevcut olan köprü, kara ile irtibatı sağlamaktaydı. Buradan patika yolla kalenin giriş kapısına çıkılmaktadır. Batı cephesinde yol üzerine 20 metre aralıklarla 4 tane kule şeklinde kapı yapılarak savunma açısından büyük kolaylık sağlanmıştır. Batı surlarda kuzeyden itibaren birinci kapı dikdörtgen planlıdır. Nöldeke birinci kapının olduğu yerde bir türbe ve bir iskele olduğundan bahsetmiştir. İkinci kapı kareye yakın dikdörtgen planlı yarım daire şeklindedir. Üçünçü kapı tahrip olmuştur. Dördüncü kapı kare planlı haç tonozludur. Beşinci kapı kalenin Fırat’a bakan doğu cephesindedir. Dikdörtgen biçimli bu kapı, içte biri yuvarlak, diğeri sivri kemerli iki niş içine alınmıştır.
Kalede beden duvarları ve burçlardan başka, bugün görülebilen kalıntılar arasında Şair Aziz Nerses kilisesi, Barşavma manastırı, su sarnıçları ve su kuyusu sayılabilir. Kuyu basamaklarla Fırat nehrinin seviyesine kadar inen 8 metre genişliğinde ve yaklaşık 75 metre derinliğindedir. Fırat nehrinden su temin etmek için yapılmış olan bu kuyunun gizli bir geçit olduğu da rivayet edilmektedir. Kuyunun silindirik iç yüzünde kayanın oyulmasıyla helozonik bir merdiven meydana getirilmiştir. Bunlardan başka kale içinde işlevi tesbit edilemeyen çok sayıda yapı kalıntısı mevcuttur. Kaledeki yapıların bir çok bölümü ana kayanın oyulması ve düzleştirilmesiyle yapılmıştır. Surlarda ve burçlarda örgü malzemesi moloz taş, kaplama malzemesi olarak büyük boyutlu düzgün kesme taşlar, kemerlerde ise tuğla görünümü verilmiş kesme taşlar kullanılmıştır.
