İlçenin Yenipayam köyü sınırlarında yer alan ve sadece teknelerle ulaşılabilen Hastek Kalesi, Keban Baraj Gölü'ne dik inen kayalıkların kat kat oyulmasıyla yapılmış, odalar ve bu odaları birbirine bağlayan birkaç metre uzunluğundaki dar galerilerden oluşuyor
Kale içerisinde geniş kullanımlı odalar, tapınak alanı ve kaya mezarını andıran bölümler ile galerilerde yer yer ışık alma, havalandırma ya da düşmana karşı savunma yeri olarak kullanılan mazgal delikleri bulunuyor.
Fırat Üniversitesi (FÜ) İnsani ve Sosyal Bilimler Fakültesi Sanat Tarihi Bölümü Başkanı Doç. Dr. Korkmaz Şen, AA muhabirine, Hastek Kalesi olarak bilinen yerin Hıristiyanlık öncesi dönemde yapılmış bir tapınak alanı olma ihtimalinin çok yüksek olduğunu belirtti.