Ông đã hai lần được giao phó đi sứ nhà Nguyên, có ảnh hưởng lớn đến việc bảo đảm chủ quyền và độc lập dân tộc trong cuộc bang giao Nam - Bắc. Khi mới 26 tuổi, ông đã được tin cẩn cử đi sứ nhà Nguyên, một công việc quan trọng liên quan thể diện quốc gia và đầy nguy hiểm.
Sử sách và trong dân gian còn lưu truyền câu chuyện ông tiếp sứ nhà Nguyên đầy thú vị. Năm 1324, vua Nguyên mới lên ngôi, sai sứ thần Mã Hợp Mưu mang chiếu sang nước ta báo tin.
Chúng ngạo nghễ cưỡi ngựa định vào thẳng hoàng cung. Quân thị vệ ngăn lại thì bị mắng chửi. Các viên quan biết tiếng ra đón tiếp, trình bày hơn 3 giờ liền mà chúng không thèm nghe.
Một bên là không thể bất nhã với sứ nước khác, nhất lại là nước lớn láng giềng. Còn một bên là quốc thể không thể để bị hạ thấp. Vua Trần vô cùng tức giận, sai Nguyễn Trung Ngạn ra gặp Mã Hợp Mưu.
Ông đã dùng kiến thức uyên bác và lý lẽ sắc bén của mình khiến sứ giả nhà Nguyên đuối lý, chịu xuống ngựa, bưng chiếu đi bộ vào yết kiến vua Trần. Khi biết Nguyễn Trung Ngạn là quan Ngự sử, 16 tuổi đã đỗ Hoàng giáp thì sứ thần nhà Nguyên thay đổi thái độ. Từ đấy cho đến khi về nước, mọi cử chỉ hành động đều khiêm nhường, không dám ngông nghênh như trước.
Cuộc đời Nguyễn Trung Ngạn còn được khắc hoạ sâu sắc tố chất của vị quan có tài có đức. Khi làm Tào Vận sứ lộ Khoái Châu, ông có sáng kiến lập ra các kho Tào thương để chứa thóc tô kịp thời cấp cho dân lúc đói. Sáng kiến này được vua Trần đồng ý và xuống chiếu cho các lộ bắt chước thi hành.
Sáng như Bắc Đẩu, cao tựa Thái Sơn
Khi trấn nhậm Thanh Hóa, ông cho rà lại sổ sách và đứng ra xét xử các vụ án, làm gương cho các quan lại giữ trọng trách ở địa phương để không xảy ra oan ức. Khi làm việc ở Thẩm hình viện, ông lập Bình doãn đường để xét xử ngục tụng, không ai bị oan hoặc bị xử quá đáng, người đương thời lúc đó ví ông như Bao Công.
Vụ án về nho sinh họ Đỗ bị xã trưởng và chánh tổng bắt giải lên huyện, cùng một túi vàng có 10 lượng với tội danh giết người cướp của là một ví dụ. Khi thẩm vấn phạm nhân, ông nhận thấy Đỗ Sinh là người thật thà, còn xã trưởng và chánh tổng có thái độ đáng ngờ. Ông cải trang thành lái buôn đến tận nơi đào vàng và tìm về quê của thủ phạm để điều tra, vẫn không tìm ra manh mối.
Không để người ngay chịu tội, ông tiếp tục cho mở rộng điều tra, phát hiện người bạn của Đỗ Sinh đi làm ăn xa trở về có liên quan đến vụ án. Anh ta có giữ hộ Đỗ Sinh giấy biên nhận nộp vàng cho xã trưởng và chánh tổng sau khi nhặt được túi vàng là 20 lượng.
Hai kẻ kia đã thông đồng bớt lại nửa số vàng rồi vu cho Đỗ Sinh tội giết người cướp của. Nguyễn Trung Ngạn khám nhà chánh tổng thấy 10 lượng vàng chôn dưới gốc cây thì lập tức tống giam 2 kẻ bất lương, còn Đỗ Sinh được thưởng 1 lượng vàng để ăn học.
Nguyễn Trung Ngạn còn để lại một sự nghiệp trước tác đáng nể trọng cho hậu thế. Là một nhà thơ có tài trên thi đàn dân tộc, thơ của Nguyễn Trung Ngạn được nhiều danh nho đánh giá cao và sưu tập lại, nổi tiếng nhất là tập thơ: Giới Hiên thi tập, được sử gia Phạn Huy Chú ở thế kỷ 9 ca ngợi “Lời thơ hùng hồn mạnh mẽ, sở đắc nhiều phong cách thơ của Đỗ Thiếu Lăng – tức Đỗ Phủ đời Đường”.
Cố GS-NGND Nguyễn Tài Cẩn nhận xét: “Nguyễn Trung Ngạn cũng là người đầu tiên sáng tạo ra lối lục ngôn thể, mở đường cho thơ lục ngôn thể của Nguyễn Trãi, Nguyễn Bỉnh Khiêm đời sau..”.
Hiện nay, di bút duy nhất của Nguyễn Trung Ngạn còn được lưu lại là tấm bia khắc trên vách đá ở Nghệ An mang tên “Ma Nhai kỉ công bia văn”. Ngoài giá trị văn học được các nhà sử học ca ngợi, đây cũng chính là tấm văn bia khắc trực tiếp lên vách núi cổ nhất tại Việt Nam.
Hiện nay, tại Thổ Hoàng – quê hương Nguyễn Trung Ngạn còn lưu giữ di tích cũng như lăng mộ ông. Lăng mộ đặt trên cồn Con Nhạn, có hình dáng như con nhạn, rộng chỉ khoảng 70m2. Trên mộ là nhà bia tưởng niệm hình vuông, 8 mái cong kiểu cổ. Ngoài cùng cổng nhà bia trên hai cột đề câu đối: Ái quốc danh nhân công linh tại/ Trung quân chính khí sử ký tồn.