Hoàng Công Chí đỗ tiến sĩ năm 1670; Hoàng Công Bảo là con của Hoàng Công Chí, đỗ tiến sĩ năm 1710; Hoàng Bình Chính là cháu nội Hoàng Công Bảo, đỗ tiến sĩ năm 1775. Bên cạnh với đó là họ Vũ và họ Nguyễn, mỗi họ có 3 vị đỗ đại khoa.
Hiện nay, nhà thờ họ Hoàng là một trong những di tích nho học và khoa bảng của Hưng Yên, phối thờ tổ tiên dòng họ Hoàng và các vị tiến sĩ trong dòng họ. Được xây dựng từ năm 1893, nhà thờ họ Hoàng từng trùng tu lại và lưu giữ được một tấm bia đá rất có giá trị, có niên đại từ thế kỷ 17 do tiến sĩ Trần Thế Vinh (Tri phủ Khoái Châu) phụng soạn.
Không chỉ là làng khoa bảng nức tiếng đương thời, tương truyền Thổ Hoàng còn là một “lò luyện thi” khi sĩ tử bốn phương tìm đến để củng cố kiến thức trước khi bước vào các kỳ thi hương – thi hội.
Tiến sĩ Nguyễn Lệ ở Bình Hồ, tiến sĩ Lê Trọng Thứ ở Duyên Hà (cha của nhà bác học Lê Quý Đôn), sau khi đỗ đạt thì mến cảnh mến người nên cụ Lê Trọng Thứ đã cho con trai là Lê Quý Thái - em ruột nhà bác học Lê Quý Đôn về Thổ Hoàng sinh cơ lập nghiệp và lập ra xóm Vườn Hồng.
Các cao niên Thổ Hoàng cho hay, theo sự tích truyền lại trước kia làng có 3 ngôi chùa, 9 giếng, 8 cổng cùng nhiều nhà thờ họ lớn, nhỏ khác nhau. Làng có 8 xóm, hai trại và 21 dòng họ, chung sống trên mảnh đất rộng chừng 2km2. Các nho sinh trước khi đi thi, thường dừng chân ở đây để ôn tập kiến thức và cầu vượng khí giúp mình hiển đạt.
Hiện nay, sử sách vẫn chưa thống nhất số lượng tiến sĩ của làng Thổ Hoàng. Một số tư liệu cho biết, Thổ Hoàng có đến 18 tiến sĩ, có tư liệu lại cho là 14 vị. Tuy nhiên, số lượng người đỗ đạt, làm quan của làng Thổ Hoàng càng về sau càng giảm.
Theo một câu chuyện truyền miệng, nguyên nhân làng mất vượng khí liên quan đến ngôi mộ của cụ Bùi Công Hộ - Thành hoàng làng. Thầy địa lý người Trung Quốc thấy vùng đất Thổ Hoàng có nhiều hiền tài, đỗ đạt hiển vinh làm quan trọng thần… nên tìm cách phá vượng khí ấy đi nhằm cắt mạch nhân hiền.
Họ thuê người đào một con kênh lớn và sâu, chạy thẳng từ đầu làng về hướng Nam. Để che mắt người dân, ban đầu thầy địa lý thuê Lý trưởng chỉ đạo người dân đào kênh để dẫn nước.
Theo kế hoạch thì con kênh sẽ được đào chạy thẳng lên phía Nam, nhưng khi đến gần mộ cụ Thành hoàng làng, lại hướng dẫn thợ đào vòng sang phía Tây, để phá đi long mạch.
Quê ngoại Bác Hồ
Cụ tổ khai sinh ra dòng họ Hoàng ở làng Thổ Hoàng là cụ Hoàng Chân Tính làm nghề dạy học ở xa. Khi mất, con cháu đưa cụ về làng bằng bè chuối để chôn cất. Đoàn người về đến đầu làng thì đêm đã khuya, con cháu đành quần tụ ở đó và đợi sáng hôm sau làm nghi lễ. Tuy nhiên, chỉ sau một đêm mối đã đùn bao kín thi thể tạo thành một gò cao. Con cháu cho đó là điềm lành nên an táng cụ tại đó.
Cụ Chân Tính có hai người con trai là Hoàng Chính Nghị và Hoàng Tính Chân. Người con trưởng ở lại làng, người con thứ về Hoàng Vân lập ra họ Hoàng ở Vân Nội, Hoàng Vân, huyện Kim Động, phủ Khoái Châu, trấn Sơn Nam (nay thuộc xã Hồng Tiến, huyện Khoái Châu, tỉnh Hưng Yên).
Hai người con của cụ, người ở lại thì con cháu phát đường khoa cử, văn chương. Người di cư thì con cháu phát đường võ nghiệp. Điều đặc biệt, nhánh họ Hoàng ở Vân Nội chính là cội nguồn dòng họ ngoại của Chủ tịch Hồ Chí Minh.
Thái phó Hoàng Nghĩa Kiều là cháu 3 đời của tổ họ Hoàng ở Vân Nội. Cụ vào trấn thủ Nghệ An năm 1557, kết hôn và lập ra nhánh họ Hoàng tại Hoàng Trù (Nam Đàn - Nghệ An).
Sau họ Hoàng ở Nghệ An được chia nhiều nhánh, trong đó có nhánh ở Kim Liên (Nam Đàn) đã sinh ra bà Hoàng Thị Loan, thân mẫu Bác Hồ. Chính bởi vậy, nguồn gốc họ ngoại của Bác Hồ xuất phát từ làng Thổ Hoàng.
Năm 2003, nhà thờ bà Hoàng Thị Loan được xây dựng tại quê hương thôn Vân Nội, xã Hồng Tiến (Khoái Châu). Bên trong nhà thờ trưng bày những tài liệu, hiện vật giới thiệu công lao to lớn của bà Hoàng Thị Loan và ảnh hưởng của dòng họ đối với sự nghiệp của Chủ tịch Hồ Chí Minh.