Đầu năm 1882, ông được triều đình triệu ra làm quyền Đốc học Bắc Ninh. Nhưng sau đó lại xảy ra sự kiện Pháp đánh thành Hà Nội lần thứ hai, ông xin từ quan về ẩn dật tại chùa Hàm Long (Bắc Ninh). Đây chính là nơi ông soạn cuốn “Bắc Ninh địa dư chí” kéo dài từ năm 1882 - 1885.

Tuy đã lui về ẩn dật, tháng 2 năm 1888, ông một lần nữa là được triều đình triệu ra làm Đốc học Bắc Ninh. Bấy giờ, nước nhà trải qua nhiều biến động: Pháp hầu như nắm quyền cai trị, sự kiện “bốn tháng ba vua”, sự biến kinh thành...

Trong tình thế nước nhà suy vi, với mong muốn giữ gìn phong hóa truyền thống, ông dốc lòng đào tạo thế hệ học trò mới - trong đó có các vị xuất thân đại khoa như: Đình nguyên Nguyễn Đình Tuân, Tiến sĩ Đàm Thận Bình, các Phó bảng Phan Văn Tâm, Đặng Quỹ, Đặng Tích Trù, Nguyễn Thiện Kế và nhiều cử nhân khác.

Bên cạnh đó, nhiều học trò ông tuy không đỗ đạt nhưng cũng nức tiếng như các danh sĩ: Trần Lê Kỉ, Đỗ Như Đại, Nguyễn Mộng Bạch, Hoàng Thường, Nguyễn Đốc, Trần Huy Côn, Ngô Sách Tư, Tô Nha, Trịnh Xuân Nham…

Khởi dựng Văn miếu

12 bia tiến sĩ Văn miếu Bắc Ninh được công nhận là bảo vật quốc gia năm 2020.

Năm 1889, Đỗ Trọng Vỹ chủ trì việc khắc 12 tấm bia đá với tên gọi “Kim bảng lưu phương”, ghi danh gần 677 vị đỗ đại khoa của xứ Kinh Bắc. Năm 1893, ông chủ trương cho dời Văn miếu Bắc Ninh được xây dựng từ thời Lê sơ - vốn đang bị đổ nát, từ núi Thị Cầu về núi Phúc Đức.

Theo Ban Quản lý di tích tỉnh Bắc Ninh, Văn miếu Bắc Ninh vốn nằm tại vùng Thị Cầu thuộc tổng Đỗ Xá, huyện Võ Giàng, phủ Từ Sơn, xứ Kinh Bắc (bao gồm Bắc Ninh, Bắc Giang và một số xã sau này nhập về huyện Gia Lâm và Đông Anh - Hà Nội, Văn Lâm - Văn Giang thuộc Hưng Yên).

Văn miếu Bắc Ninh được khởi công xây dựng vào thời Hậu Lê thế kỷ 15, tại núi Châu Sơn, Thị Cầu. Năm 1802, sau khi lên ngôi, vua Gia Long cho tu bổ lại. Năm 1838, Văn miếu dù được tu sửa lại song dần trở nên hoang phế.

Năm 1893, Văn miếu được chuyển về núi Phúc Đức - ngọn núi mọc lên giữa vùng đất bằng phẳng, có địa thế phong thủy tốt, lại gần trung tâm nên thuận tiện cho việc cúng lễ và khuyến khích sự giao lưu học hỏi.

Quan Đốc học Đỗ Trọng Vỹ đã vận động các vị văn thân, chức sắc, nhân dân địa phương góp tiền, góp sức. Và đến năm 1928, Văn miếu chính thức được tu sửa khởi dựng với quy mô lớn và gần như toàn diện, gồm các công trình như: Tiền tế, Hậu đường, Tả vu, Hữu vu, Tạo soạn, Bi đình, nhà Hội đồng trị sự, Tam môn…

Tam quan Văn miếu Bắc Ninh nằm dưới chân núi Phúc Đức, được xây dựng đơn giản. Khối cổng chính giữa có mái 2 tầng, 8 mái. Hai bên khối cổng chính có hai trụ biểu, đỉnh trụ trang trí con nghê chầu, thân trụ phía trên trang trí các ô lồng đèn, giữa là ô trang trí câu đối, đế thắt dạng cổ bồng. Giữa khối cổng chính và trụ biểu là cổng phụ.

Bia 'Bắc Ninh tỉnh trùng tu Văn Miếu bi ký' tại chính sân Văn miếu Bắc Ninh.

Sau Nghi môn là một bậc thang rộng dẫn đến sân Văn miếu nằm trên đỉnh núi. Sân lát gạch, phía trước sân là một tấm bia đá, kích thước lớn mang tên “Bắc Ninh tỉnh trùng tu Văn Miếu bi ký” khắc vào năm 1928. Bia có hình dáng như một bức bình phong, chạm khắc chữ và hoa văn hai mặt.

Nội dung bia ngoài việc ca ngợi Nho học, còn nói về quá trình và các đóng góp cho việc trùng tu, tôn tạo Văn miếu: “Văn miếu được dựng lên là để tôn thờ các vị tiên hiền tiên triết, chấn hưng và khuyến khích thuần phong, văn học, duy trì điều tốt cho đời sau nhằm biểu dương những người xuất chúng phi thường, có học vấn, thông kim bác cổ, đỗ đạt lưu danh, cổ vũ sự nghiệp giáo dục, chấn hưng đạo đức cho hàng ngàn vạn năm sau”.

Theo hồ sơ tư liệu Cục Di sản văn hóa, nội dung 12 bia tiến sĩ Văn miếu Bắc Ninh ghi chép về khoa thi, họ tên, quê quán, học vị và chức tước của các vị trạng nguyên, bảng nhãn, thám hoa, tiến sĩ của xứ Kinh Bắc xưa.

12 tấm bia này có kích thước như nhau (cao 110cm, rộng 75cm, dày 9cm), trán bia cong và được trang trí lưỡng long chầu nguyệt. Ở diềm bên trái của mỗi bia có ghi khắc vị trí đặt của bia đó trong nhà bia.

12 bia tiến sĩ Văn miếu Bắc Ninh là hiện vật gốc độc bản. Đây là nguồn tư liệu xác thực, đầy đủ nhất đối với việc nghiên cứu lịch sử khoa cử Kinh Bắc. Trong đó có nhiều tiến sĩ không có tên trong các tài liệu đăng khoa lục hay tại Văn bia Quốc Tử Giám Hà Nội, nhưng lại có tên trong bia Văn miếu Bắc Ninh.

Bia Văn miếu Bắc Ninh là nguồn tư liệu bổ khuyết đầy đủ nhất về các danh nhân khoa bảng quê hương Kinh Bắc thời phong kiến. Nội dung văn bia cho biết rõ ngày tháng dựng bia, tên của người soạn văn bia, người dựng bia. Chữ viết trên bia, các hoa văn trang trí cùng phong cách tạo dáng bia đều mang dấu ấn của một thời kỳ lịch sử. 12 bia tiến sĩ Văn miếu Bắc Ninh được công nhận là bảo vật quốc gia vào ngày 15/1/2020.