西溪自古多文人。在这片土地留下了文人们许多的墨宝和足迹，西溪水阁主要用于文人藏书、读书及会友。如今的西溪水阁，有"兰溪书屋"和"拥书楼"两处藏书楼，使得游人在西溪厚重的文化气息中，去追随当年文人隐士的避世清闲。