Khi về già, ông về quê hương mở trường dạy học, sống đời thanh đạm. Nơi Nguyễn Quán Quang dạy học về sau dân dựng lên một ngôi chùa gọi là chùa Linh Khánh. Ngôi chùa về sau không còn nữa, nhưng vẫn còn một cây hương đá tạc vào năm Chính Hoà thứ 18 (1697). Trong đó ghi công đức của Trạng nguyên Nguyễn Quán Quang với dân làng.
Ngoài ra, ông còn được dân làng lập đền thờ trên núi Viềng, thờ ông làm Thành hoàng, gọi là Bản thổ Thành hoàng, Đại vương Phúc thần. Hằng năm, vào dịp 22 tháng Chạp (âm lịch), dân làng lại tổ chức “Tế phong mã” để tưởng nhớ.
Trạng nguyên Ngô Miễn Thiệu hiệu là Thuận Nhã Tự Trúc Khê, ông sinh năm Kỷ Mùi (1499), là con trưởng của Bảng nhãn Ngô Thầm. Năm 20 tuổi ông đỗ Trạng nguyên thời Lê Chiêu Tông. Khi nhà Mạc lật đổ nhà Lê, ông bỏ quan về quê dạy học.
Trong 8 năm dạy học ở quê nhà, dưới bàn tay dạy dỗ của ông, rất nhiều người thi đỗ tiến sĩ và trở thành trí thức phục vụ cho đất nước.
Từ khi nhà Mạc cướp ngôi nhà Lê, nhà Minh cho sứ sang hỏi tội nhiều lần. Có lần vua Minh sai Mao Bá Ôn làm Tham tán quân vụ thống lĩnh một đội quân sang hỏi tội nhà Mạc. Đội quân này đóng ngay nơi biên giới hai nước. Mao Bá Ôn làm bài thơ “Vịnh bèo” nhằm miệt thị nhà Mạc và cũng là để thăm dò nhân tài nước Nam.
Nhà Mạc nhận được bài thơ nhưng không ai họa lại được. Cuối cùng có người tâu lên rằng Trạng nguyên Ngô Miễn Thiệu có khả năng họa lại. Vua bèn cho triệu mời Ngô Miễn Thiệu vào cung. Miễn Thiệu xem xong bài thơ rồi nói: “Nếu không có lời lẽ thống thiết thì làm sao lui được quân Minh, nhà vua muốn thì có khó gì”.
Rồi ông đứng lên đọc bài thơ “điệp văn” cho viên quan bộ Lễ chép lại, ký tên là Đầu Mục Mặc Đăng Dung: Chen nhau vảy gấm khó luồn kim/Cành rễ liền nhau chẳng kể thân/Tranh với bóng mây trên mặt nước/Hé dung ánh nhật lọt dòng tâm/Nghìn trùng sóng đánh thường không vỡ/Muôn trận phong ba cũng chẳng chìm/Nào cá nào rồng trong ấy ẩn/Cần câu Lữ Vọng khó mà tìm.
Mao Bá Ôn đọc xong bài thơ “điệp văn” thì biết nước Nam vẫn còn nhân tài, khóm mà uy hiếp, liền thu quân trở về. Người đương thời khen Ngô Miễn Thiệu “lập thi thoái lộ” - đứng làm thơ đẩy lui được giặc.
Khoa bảng vẻ vang
Điều không thể phủ nhận khi nói về các dòng họ ở Tam Sơn là truyền thống hiếu học và khoa bảng. Nét đẹp đó luôn được mọi thế hệ trong các dòng họ duy trì nối tiếp và tạo dựng, sản sinh ra nhiều người tài giỏi.
Theo tư liệu, chỉ riêng trong 3 dòng họ: Họ Ngô (xóm Xanh), họ Nguyễn (xóm Trước), họ Ngô Sách (Ngô Nguyễn Từ Đường) đã có tới 17 người đỗ đại khoa.
Tiến sĩ Ngô Luân là anh ruột Bảng nhãn Ngô Thầm, bác ruột Trạng nguyên Ngô Miễn Thiệu. Ông đỗ Tam giáp đồng tiến sĩ xuất thân khoa Ất Mùi (1475). Sau thi đỗ, ông được chọn là thành viên Hội Tao Đàn nhị thập bát tú. Làm quan đến chức Thượng thư kiêm Đông các đại học sĩ.
Ngô Luân cùng với Thân Nhân Trung và Đỗ Nhuận được giao nhiệm vụ soạn Văn bia tiến sĩ ở Văn Miếu - Quốc Tử Giám. Vua Lê cũng giao cho ông trọng trách phê bình tập “Cổ kim cung từ thi”.
Tiến sĩ Nguyễn Úc là anh ruột tiến sĩ Nguyễn Khiết Tú và là bác ruột tiến sĩ Nguyễn Tảo, Nguyễn Hòa Trung. Ông đỗ Đệ tam giáp đồng tiến sĩ xuất thân khoa Đinh Mùi (1487). Ông từng đi sứ Trung Hoa, làm quan trải đến chức Lại bộ Tả thị lang.
Bảng nhãn Ngô Thầm là thân phụ Trạng nguyên Ngô Miễn Thiệu và là ông nội tiến sĩ Ngô Diễn, Ngô Dịch. Ông đỗ Đệ nhất giáp tiến sĩ cập đệ nhị danh khoa Quý Sửu (1493), làm quan đến chức Hàn lâm viện hiệu thư.
Tiết nghĩa đại vương Nguyễn Tự Cường là con tiến sĩ Nguyễn Úc, em Nguyễn Hy Tái. Ông đỗ Đệ nhị giáp tiến sĩ xuất thân (1514 ) đời Lê Tương Dực và làm quan đến chức Hiến sát sứ. Khi Mạc Đăng Dung chiếm ngôi nhà Lê, đời Lê Quang Thiệu ông dấy binh chống cự, thế không địch nổi thua trận rồi bị bắt, ông uống thuốc độc tự tử.
Tại Tam Sơn hiện còn bia đá sắc phong thần ca ngợi Hoàng giáp Nguyễn Tự Cường là bậc danh nho, trụ cột miếu đường. Chấn chỉnh kỷ cương khi rối loạn, tỏ rõ năng lực kinh luân. Liều mình cứu nước lúc nguy nan, kiên cố một lòng sắt đá: Thấy kẻ đã nêu gương tiết tháo/Lẽ nào không mạnh dạn bao phong.