在高平、长子、长治三县交界处，山巅有两座石雕方形塔，塔侧石雕伏羊佛龛造像，头尾清晰，由此山状为羊头，故名。
羊头山梵刹，名曰清化寺，据记载始建于北魏孝文帝太和年间（四七七——四九九年），原名定国寺，北齐时改名宏福寺，隋末寺废，唐武则天天授二年（六九一年）重建，并改额清化。今清化寺建筑已不存，尚留石佛三尊、明碑一通和殿堂遗址，但寺周北魏至隋唐时期窟龛造像和石塔仍依然如故。
羊头山正面高峰凸起，左右山脉前伸，形如箕掌，石刻造像即分布于其间。
羊头山石刻造像和石塔，是羊头山历史遗物中的精华所在。它的分布，有的在山巅，有的在山腰，有的为窟，有的为龛，原有规模及顺序已不可考，现状可分为九区。较大窟龛二十二个，小型佛龛八十多个，窟洞平面多为方形。还有千佛碑一通，皆魏至唐物。山巅山腰雕石塔六座，唐制，高度４─６米不等，平面方圆两种，高者七层，密檐式，低者两层，楼阁式，形制古朴，手法简洁，为他处所少见。
主峰极顶列为首区，有石塔两座，佛龛一区，龛为三块巨石叠成，下为卧羊，中为佛龛，上为瓦陇式屋顶，龛内内置一佛二菩萨，佛像结跏而坐，面型衣饰皆属北魏风格。
西南山巅（亦称右峰）“八十八佛”窟，距羊头石龛二百余米，列为第二区。窟龛三个，分上下两层。前窟南向平面方形，门外二金刚侍立，窟内正面一佛二菩萨，佛结跏而坐，菩萨侍立主佛四周，四周雕有龛八十七个，内各置一佛，皆坐式，连同主佛共八十八尊，窟名由此而来。窟南一龛，内雕一佛二菩萨，面型略秀，身材修长。后窟较高，亦称上窟，窟上石塔已毁坏。塔下一窟，方形，窗门南向，三面雕像，正面和西侧主佛已不存，尚存东侧一佛二菩萨和西隅左尊胁侍，面型清秀，神态自若，刻工纯熟而洗练。视其造像风格，与前窟同为齐隋间遗物.
第三区为千佛洞，位于半山腰部，窟内方形，四面小佛龛满壁，近千尊，故称千佛洞。这里的雕像都是唐代风格。第四区为方塔窟区，第五区为圆塔窟区，第六区为多宝龛窟区，第七区为大石窟龛区，第八区为佛山区，第九区为唐代龛区。这些石窟龛内，雕像大都肌肉健美，衣饰贴体，艺术价值很高。
千佛碑，在清化寺址西，四面满雕佛像，正面碑身中心雕火焰形大龛一区，内置坐佛一尊；侧面中雕佛像两龛，为一佛二菩萨。造像风格，发髻光滑，面相方圆，宽衣博带，肩膀较平，尚存魏碑风格。
羊头山石塔，是山上石雕作品中的一个组成部分，原为六座，两座损毁，现存四座，分布于山巅和山腰。山巅两塔，南北对峙，十里外皆可望见。山腰两座，一方一圆。此处石塔虽然不大，但造型特殊，在我国已知的古塔中，尚属奇构。