Theo các cao niên thôn Cao Phương, đền thờ Trạng nguyên Lương Thế Vinh thường được người Nam Định gọi là đền “cụ Trạng”. Di tích chính ở đây có 3 lớp nối tiếp nhau. Phía ngoài cùng đối diện với sân gạch là cung đệ tam.
Hai dãy giải vũ nằm trước cung đệ tam, đối diện với sân đền và quay mặt vào nhau. Mỗi dãy có ba gian, phía sau và hai bên xây tường bít dốc, đằng trước không có cửa. Nhà giải vũ hoàn toàn làm bằng gỗ lim nhưng với kiểu cách đơn giản, bao gồm vì kèo cầu cánh ác, bào trơn lắp mộng.
Đồ thờ tự và đồ tế khí ở đền thờ Trạng nguyên Lương Thế Vinh được bảo quản cẩn thận. Tại đây các nhang án, bát biểu, ngai thờ, kiệu bằng gỗ, các bộ tam sự, ngũ sự bằng đồng, những đôi song bình, độc bình, bát hương, nậm rượu bằng gốm sứ còn rất nhiều.
Đặc biệt tại đền còn giữ được một tấm hình vẽ chân dung quan Trạng bằng sơn trên gỗ quý. Bức tranh khổ rộng 1m x 1m vẽ Lương Thế Vinh ngồi trên án thư, hai chân vẫn đi giầy, tay phải đặt trên đùi, tay trái mở ra. Ông có khuôn mặt phúc hậu, tư thế đĩnh đạc. Tương truyền bức vẽ này là của một họa sĩ người Trung Hoa vẽ tặng nhân dịp đi sứ.
Qua các triều đại, đền thờ “cụ Trạng” được nhiều nhà khoa bảng đến thăm viếng, đề thơ ca ngợi, làm câu đối cúng. Từ thời Lê đến thời Nguyễn đã có nhiều vị đại khoa như tiến sĩ Đỗ Quang Dần, Phạm Đạo Phú, Hoàng giáp Tam Đăng Phạm Văn Nghị, Tam nguyên Yên Đổ Nguyễn Khuyến… đã đến và lưu lại dấu tích chữ nghĩa.
Bài văn đối sách
Đặc biệt, văn nhân mặc khách, nho sinh khoa bảng đến viếng đền “cụ Trạng” còn được đọc bài văn đối sách – thể hiện bản lĩnh, sự thông tuệ của một vị Trạng nguyên toàn tài.
Khoa thi Đình năm Quý Mùi (1463), đích thân vua Lê Thánh Tông ra đề. Bài của Lương Thế Vinh được vua phê “Quyển này tường tận, minh bạch, không hổ danh là một bài đối sách. Ðọc văn đó mà lòng bứt rứt không yên”.
Lương Thế Vinh làm bài văn đối sách với những phân tích, dẫn chứng sắc bén: “Thần cúi đọc sách của Thánh thượng hỏi - Thần kính nghĩ: Bệ hạ nối nghiệp tiền thánh, vận mở trung hưng, thường răn quần thần làm hết chức trách, thường muốn dùng người phải lấy công tâm, vỗ về rộng lớn để thành phong tục, làm sáng tỏ công lao chính là ở thời nay.
Thần kính xét Kinh Thư nói: “Việc trị loạn tại các quan”. Từ đó mà xem thì quan chức có được tu chỉnh hay không chẳng phải là rất quan hệ đến trị đạo hay sao? Thần trộm nghĩ thời nay, nếu cho rằng trăm quan đều không làm hết chức trách là không thể được.
Như Nội Mật Viện nắm các việc cơ mật, Bệ hạ đã giao cho Tể thần trông coi, lại chọn thêm văn thần để giữ việc, cố nhiên các vị này không có gì không làm nhưng trong số đó quả là không có sai sót hay sao?
Lại như Ngũ Ðạo Quan coi giữ các miền trong nước, Bệ hạ đã giao cho những người biết rõ đạo trị để giải quyết, lại chọn những người liêm khiết tài năng để giữ việc, những chức này cố nhiên đã chọn được người nhưng trong số đó quả hết thẩy đều là người tài giỏi chăng? Do đó cho nên các công việc chưa hoàn toàn sáng tỏ.
Ðến như việc hình luật... triều đình có quan lại chính trực tất gian tà không thể nổi lên, như thế thì trọng trách của các gián quan thế nào cũng có thể biết được. Nay những người làm việc ở Ðài Hiến cũng có những người cương trực hiền tài nhưng đã quả là ai cũng tài giỏi chưa?.
Phàm việc yên triều đình, trị muôn dân không gì trước hơn lễ, thay đổi phong tục không gì trước hơn nhạc. Việc nắm giữ lễ nhạc của bản triều thẩy quy tụ về Lễ Nghi Viện. Lễ nhạc dùng ở triều đình đã rất tốt đẹp nhưng đáng tiếc là vẫn chưa thấu xuống tận dân quê.
Việc giáo hóa thi hành thì phong tục tốt đẹp, đạo Thầy được đề cao tất người thiện mới nhiều, như thế thì giáo chức có quan hệ với trị đạo rất to lớn. Trách nhiệm giáo dục nhân tài của bản triều là ở các trường Quốc học, lộ học. Việc dậy văn nghệ đã có phép tắc nhưng cái đáng lo là chưa dậy cho thấu đáo về đức hạnh mà thôi.
Còn như của cải chưa phong phú là do chính sách tốt chưa làm trọn vẹn, hàng hóa chưa lưu thông chính bởi cấm lệnh chưa được triệt để thi hành… Thần trộm thấy thời nay các quan ở phủ, lộ, trấn, huyện, người làm hết chức trách thì ít, kẻ làm không hết chức trách thì nhiều? Nói những điều nói chỉ là những việc ngọn như xử kiện, thúc thuế…
Thần lại nghe: “Lúc này những người nắm quyền binh, xứng đáng với chức vụ thì ít, không xứng đáng với chức vụ thì nhiều”. Tiếng là võ quan mà thông thạo vũ lược được mấy người? Chức là cầm quân mà am hiểu tình quân được là bao? Vơ vét là việc triều đình nghiêm cấm mà vẫn lấy lạm của quân như thế; vỗ về thương xót lê dân là bản ý của triều đình mà vẫn coi thường cấm lệnh, hoành hành bạo ngược…”.