先秦時期，就有關於觀賞石的記載，《尚書》中的《禹貢》，指出泰山的峽谷中產怪石，並將怪石列為貢品之一。
到了漢代，就有了賞石文化的雛形，文人雅士將從山間或河灘中拾的一些奇異怪石和鵝卵石，置於庭院、擺於茶几，與同窗好友共同欣賞，人們稱這些有觀賞性的石頭為雅石、供石和奇石，現代人稱它為觀賞石。
唐宋時期，賞石藏石之風十分興盛。著名詩人陸游、蘇東坡，書法家黃庭堅等一大批文人收藏、觀賞奇石，為之吟詩作賦。
清代鄭板橋酷愛奇石，稱奇石“醜石也，醜而雄，醜而美”。
曹雪芹更是從石中引出名著《紅樓夢》，亦稱《石頭記》。
當今，賞石文化深深滲透到了現代人的生活之中，奇石收藏成為現代文化生活的一部分，奇石博物館、奇石收藏家如雨後春筍，遍及全國。
