Tuy nhiên, khó khăn cho ông là ở đối sách của triều đình rất lúng túng, vừa muốn cảnh giác nhưng lại sợ người Pháp hiểu lầm. Bởi vậy khi đoàn thuyền của Jean Dupuis đi qua Hưng Yên, Nguyễn Đức Đạt sai phó lãnh binh Trần Lương đưa một đội quân đi dọc theo bờ đê đề phòng bất trắc. Không ngờ vua Tự Đức nghe tâu việc ấy cho rằng làm vậy “dễ phật lòng người Pháp” nên ra lệnh giáng cấp Nguyễn Đức Đạt, cho lưu chức.
Năm 1875 triều Tự Đức có cuộc điều trần lớn về đê điều Bắc Kỳ. Các ý kiến chia làm 3 phái: “Thỉnh hưu” tức là chủ trương bỏ đê, “thỉnh trúc” chủ trương xin tiếp tục đắp đê, “bán trúc bán hưu” (nửa đắp nửa thôi) tức là chủ trương ở thuợng du tiếp trục cho bồi đắp các đê cũ, còn ở hạ du thì bỏ đê.
Nguyễn Đức Đạt làm Tuần phủ Hưng Yên trong những năm tỉnh này liên tiếp bị vỡ đê. Chính ông phải nhiều lần đi phát chẩn cứu tế cho dân đói. Vì thế ông dâng điều trần cực lực phản đối việc phá đê mà cũng không tán thành chủ trương “bán trúc bán hưu”.
Cùng trong năm 1875, Nguyễn Đức Đạt còn dâng về triều một tờ sớ nữa, xin cho dân Hưng Yên được hoãn việc thi hành lệ thuế mới trong 3 năm.
Vua Tự Đức tuy đánh giá cao tài năng của Nguyễn Đức Đạt, song động chạm vào một vấn đề huyết mạch của triều đình thì Tự Đức nổi cơn thịnh nộ, chẳng những tờ tâu không được phê chuẩn mà Nguyễn Đức Đạt còn bị khiển trách và bị giáng hai cấp. Chán nản, tháng 3/1876 ông lấy cớ ốm đau bệnh tật xin cáo quan.
Sau khi về quê, Nguyễn Đức Đạt thường tịnh xá chùa Đông Sơn đọc sách viết sách, nhưng chẳng chịu cho ông được nghỉ lâu, dân làng Hoành Sơn mau chóng dựng ngay ngôi trường năm gian để đón ông về làng dạy học. Từ đây đến ngót chục năm cuối đời là giai đoạn trường Hoành Sơn rất nổi tiếng trong sự nghiệp giáo dục của ông.
Lối học ngày xưa khai trường thì có định kỳ, nhưng nhập trường thì không có hạn định. Ngày càng nhiều người kéo đến xin làm học trò của ông, không chỉ bên Hưng Nguyên, Nam Đàn mà cả từ Hương Sơn, Đức Thọ, Can Lộc cũng kéo về học cụ “Thám nhất” khiến cho làng Hoành Sơn ngày nào cũng như có hội.
Ngôi trường năm gian học trò ngồi tràn cả ra sân, mỗi khóa có thể cũng đến cả trăm người. Cả mấy thôn Đông Sơn, Nam Sơn, Hoành Sơn đều có học trò các nơi đến trọ học.
“Không biết rõ trong cả hai thời kỳ trường Thông Lãng (1866 - 1869) và trường Đông Sơn (1877 - 1883) số học trò chính xác bao nhiêu người, chỉ biết riêng một năm Kỷ Tỵ, số học trò có mặt trong cuộc xướng họa hồ sen trường Thông Lãng là 35 người. Vậy hơn 10 năm dạy trường làng và 5 năm làm Đốc học Nghệ An, môn sinh của Nguyễn Đức Đạt phải đến nghìn người như lời truyền”, nhà nghiên cứu Ngô Đức Thọ cho hay.
Theo các nguồn sử liệu, học trò của Nguyễn Đức Đạt có nhiều người thành danh, trong đó có những bậc danh sĩ như: Phan Bội Châu, Cao Xuân Dục, Ngô Đức Kế, Đặng Nguyên Cẩn, Đặng Văn Bá, Đặng Thái Thân, Đặng Văn Thụy, Nguyễn Sinh Sắc…
Tương truyền, mỗi tháng dù hạng thấp hay hạng cao, Thám hoa Nguyễn Đức Đạt đều giao cho học trò ba bài tập để chấm điểm. Chấm bài xong, nếu thời tiết đẹp thì cụ dẫn học trò đến bãi núi làng Đông Sơn để bình văn.
Nơi đây dòng sông Lam chảy qua bến Đại Lạn soi bóng ngọn núi Đồn có những cây ngô đồng thưa lá đẹp như bức tranh cổ. Thầy ngồi trên bậc tảng đá có đục ba chữ “Tam bình nham”, học trò che lều tạm và chia nhau ngồi trên các tảng đá bên cạnh để nghe thầy giảng.
Thầy đã chọn trước các bài văn, lần lượt giao cho trưởng tràng đọc to từng bài, rồi thầy “phê” các văn từ ý tứ. Bình giảng xong một hai bài tiêu biểu, thời giờ còn lại dành cho các cuộc vấn đáp giữa thầy và trò. Nội dung các cuộc vấn đáp này phần nhiều được các học trò ghi chép biên tập, tổ chức khắc in thành sách: Cần kiệm vựng biên (1870), Việt sử thặng bình (1881), Nam Sơn tùng thoại (1880)… đã ra đời như thế.
Năm 1885, vua Hàm Nghi ra chiếu Cần Vương. Thám hoa Nguyễn Đức Đạt cùng em họ là Nguyễn Đức Quý ra mắt Hàm Nghi và được phong làm Lại bộ Thượng thư lĩnh An Tĩnh tổng đốc. Về quê nhà, ông cùng Nguyễn Đức Quý, Nguyễn Quang... dựng cờ nghĩa khởi binh, đóng quân ở đình làng Hoành Sơn.
Chiến đấu chưa được bao lâu thì quân của Nguyễn Đức Đạt thất thế nên nghĩa quân phải rút lên vùng miền núi Thanh Chương. Do tuổi cao sức yếu không đi được, Nguyễn Đức Đạt ở ẩn tại quê nhà. Hai năm sau, vào tháng 2/1997 ông qua đời ở tuổi 63.
Sách “Đại Nam liệt truyện” viết: “Đức Đạt vốn có danh tiếng lớn, khi tuổi già ăn mặc xoàng xĩnh, gửi tâm hồn nơi non nước, lấy giảng dạy trước thuật làm vui, rong chơi nơi đồng ruộng hơn mười năm, rồi mất năm 63 tuổi”.