罗汉洞位于徽县虞关乡南约3公里处，嘉陵江西岸古仙人关下的一处铁青色岩壁之上。

明代《徽郡志》记载“罗汉洞，南五十里，四面陡绝，崩裂石门以通出入，中有石佛与罗汉像。”清代顺治六年（1649年）徽州知州杨三辰在《江河纪略》中记述道“…西岸有山，折旋而上为罗汉洞。门边有石，高可数丈，若从洞内擎出者，三宝庄严，两排六尊，石像古甚。左右石壁，罗汉小像千计。内旧贮藏经全版，今柜虽存，版仅存十五、六耳。”

罗汉洞门高数丈，洞高约10米，宽3米，深40米，洞中又有套洞。进口处狭窄，漆黑一片，前洞昏黑阴冷，进入洞口，隐约可见十几座高大石碑。燃明火烛可见正面有两排6尊古代雕造的巨大石佛，宝像庄严肃穆。左右崖壁上排列着上千尊罗汉雕像，大小不一，高矮不等，胖瘦不同，各具情态，因而石洞又名“五百罗汉洞”。

洞内设有跪拜用的石垫，石香炉以及供游人歇息的石杌。洞后深处，有岩水自顶部渗出，滴滴答答作响，落入一石盆之内。游人闭目凝神，隐约有铿铿锵锵的鈡磬之声。据传，宋代有人深入后洞，发现有一石柜，内贮藏经全版，明代与清代地方志有石柜中所藏得经卷已剩余不多的情况记载，目前情况不明。

洞内石碑，大多记载从北魏至唐代数百年间修造雕凿佛窟之事，其中一块宋代所刻石碑详细记述了南宋镇守仙人关的大将军吴玠、吴璘率军与金国四太子完颜兀术的金军在仙人关的惨烈战事，为研究南宋初年的抗金斗争史提供了极其珍贵的实物史料。

罗汉洞为徽县著名的石窟寺，文革时多数文物被毁，后来当地群众又重修了寺窟，使此间香火再一次鼎盛起来。