Các nữ quan hoàng cung đều làm việc dưới quyền của thái giám. Thậm chí, có nhiều bà phi phải mua chuộc, đút lót để lấy lòng thái giám.
Vốn là người sắp đặt, lo toan cuộc sống hàng ngày cho nhà vua, nên vào ban đêm, sau giờ vua làm việc, đọc sách, làm thơ, dự yến… thái giám sẽ đệ lên vua một cái khay đựng thẻ ghi tên những bà phi vua muốn gặp, ân sủng.
Sau khi vua chọn xong, thái giám có bổn phận mang tấm thẻ vua chọn đến treo trước cửa phòng và báo cho vị vương phi đó chuẩn bị tắm rửa, trang điểm, qua đêm hầu hạ nhà vua.
Dù việc chọn người do vua quyết định nhưng các thái giám vẫn có những mánh khóe để “buộc” vua chọn những bà phi theo ý họ. Chính từ đây làm nảy sinh quyền lực ngầm của thái giám. Bà nào muốn được vua ân sủng đều phải “qua cửa” của thái giám, nhiều bà đã đem vàng bạc, châu báu, vải vóc… đút lót cho thái giám để được gần gũi vua nhiều hơn, có cơ hội sinh hoàng tử, công chúa, nâng tầm địa vị bản thân. Còn những bà khinh thường thái giám, có thể cả đời không được biết đến mặt vua một lần.
Vốn là người thân cận với vua mỗi ngày, biết rõ đời tư của vua, có những thái giám đã củng cố quyền lực, dần dần sinh ra lộng quyền. Để khắc phục điều này, triều Nguyễn từ thời Minh Mạng chỉ sử dụng thái giám vào việc vặt chốn hậu cung, tuyệt đối không cho tham gia vào chính sự.
Đây là bài học nhà Nguyễn rút ra sau vụ án của Lê Văn Duyệt. Người này vốn xuất thân dưới trướng của vua Gia Long, có công lớn trong khôi phục vương triều, sau lại giữ chức Tổng trấn thành Gia Định. Lợi dụng quyền bính trong tay, Lê Văn Duyệt đã có nhiều quyết định trái ý vua, khiến Minh Mạng hết sức phẫn nộ nhưng chẳng làm gì được.
Sống và làm việc trong Tử Cấm Thành nhưng khi đau yếu, bệnh tật, thái giám phải ra ở và chữa bệnh tại cung Giám Viện ở phía Bắc Hoàng thành Huế. Nếu khỏe mạnh sẽ được tiếp tục công việc, nếu bệnh nặng phải ở đó chờ chết, không được vào Đại Nội hoặc các lăng tẩm khi chưa hết bệnh.
Ý thức được số phận hẩm hiu của mình, không có con cái nối dõi, một số thái giám trong cung triều Nguyễn đã nhận con nuôi, một số quyên góp tiền bạc, hiến ruộng đất, tư sửa chùa Từ Hiếu ở kinh thành Huế. Đây được xem như là ngôi chùa của thái giám, nơi thờ phụng họ sau khi qua đời.
Trong khuôn viên chùa Từ Hiếu hiện nay vẫn còn khoảng 20 mộ phần của thái giám có công với chùa. Những ngôi mộ phần này đều được dựng bia ghi tên, chức tước của người thái giám khi còn sống.