寺院位于密阳三浪津万鱼山半山腰,在一片如河流般倾泻而下超过700米的黑褐色碎石坡上方。传说跟随东海龙王之子而来的鱼群变成了石头,所以人们把这些岩石称作万鱼石(萬魚石),意为“万条鱼的石头”,有些石头一敲,会发出金属般清脆的声响。它与冰谷、表忠碑阁并称密阳三大神秘之处。
万鱼寺有个传说,称它是46年金官伽倻的建国者首露王时期创建的。传说首露王时期,毒龙和罗刹女降下雷电和冰雹,使农田连续4年歉收,靠佛祖说法才制服了他们,当时受到感化的东海鱼和龙聚集到山上,变成了石头。《三国遗事》也记载了万鱼山岩石上映出佛影的**“鱼山佛影”的故事。据说新罗时这里是国王供佛的地方,1180年重建,1506年和1879年**又曾重修。现在的寺院是一座小巧的山寺,有大雄殿、弥勒殿、三圣阁、僧舍等。