Ngày xưa, về đời nhà Lê, ở làng Phùng Xá, đất Sơn Tây có một thư sinh tên là Phùng Khắc Khoan. Tương truyền rằng Khoan là anh em cùng mẹ khác cha với Trạng Trình Nguyễn Bỉnh Khiêm. Khoan lớn lên, bà mẹ cho xuống Hải Dương theo học anh là Nguyễn Bỉnh Khiêm, về sau đỗ tiến sĩ, giúp nhà Lê trung hưng, làm được nhiều việc lớn. Đến khi nhà Nguyễn khôi phục được kinh thành Thăng Long, Phùng Khắc Khoan được cử đi sứ triều Minh.
Trong khi đi sứ, vua Tàu phục tài văn thơ của ông trong một lúc làm luôn 36 bài thơ mừng, phong ông làm Lưỡng quốc Trạng Nguyên. Khi trở về qua tỉnh Lạng Sơn, ông gặp Liễu Hạnh công chúa hiện hình chơi trên đỉnh núi, đôi bên cùng đọc thơ xướng họa, rồi bà chúa Liễu biến mất.
Tục truyền rằng Liễu Hạnh công chúa là con gái Ngọc Hoàng, tên Quỳnh Nương, lỡ tay làm rơi vỡ chén ngọc ở Thiên đình, bị đày xuống trần, đầu thai làm người vào đời Hậu Lê, ở nhà Lê Thái Tông, đất Vụ Bản (Nam Định). Họ Lê đặt tên con gái là Giáng Tiên, lớn lên lấy chồng Đào Lang. Sau ba năm chăn gối, đến ngày mồng ba tháng ba, Giáng Tiên bay về trời, nhưng vì chưa hết hạn ở hạ giới, nên Ngọc Hoàng lại đày xuống thế một lần nữa. Bận này nàng công chúa thượng giới đi cùng với hai tiên nữa là Quế Nương và Thị Nương xuống miền Phố Cát (Thanh Hóa). Nàng thường ngao du hiện ra nhiều nơi, làm nhiều việc hiển linh, được triều đình phong sắc là công chúa Liễu Hạnh, vào hạng tứ bất tử của Việt Nam, sau các Thần Tản Viên, Phù Đổng, Chử Đồng Tử.
Chính trong một cuộc du ngoạn mà công chúa Liễu Hạnh gặp nhân sĩ họ Phùng. Sau cuộc họa thơ cùng tiên nữ tài hoa, Phùng Khắc Khoan đi gặp gỗ chất ngổn ngang trên đường, nhận thấy sắp chữ Liễu Hạnh và chữ Phùng, đoán biết là ý tiên nữ muốn ông đứng ra lập đền thờ bà.
Phùng Khắc Khoan còn gặp Liễu Hạnh hiện ra một lần nữa, trong lúc cùng hai người bạn họ Ngô, họ Lý đi chơi thuyền Hồ Tây, và kẻ tiên người tục cùng nhau làm thơ xướng họa liên ngâm còn truyền lại đến ngày nay.