Trong đời sống thường nhật, có lẽ vua Minh Mạng là người được hưởng nhiều vui thú nhất trong các vua Nguyễn ở chốn phòng the. Số phi tần trong cung vua chưa rõ bao nhiêu, chắc phải đến năm , sáu trăm người. Sách Minh Mạng chính yếu
chép:" Năm Minh Mạng thứ sáu, mùa Xuân, tháng giêng, trong Kinh Kỳ ít mưa, nhà vua lấy làm lo, chỉ dụ cho quan Thuợng Bảo Khanh là ông Hoàng Quỳnh rằng:
- Hai ba năm trở lại đây, hạn hán liên tiếp. Trẫm nghỉ tự đâu mà đến thế nhưng chưa tìm ra nguyên nhân, hoặ là trong thâm cung, cung nữ nhiều âm khí uất tắc mà nên như vậy ư? Nay bớt đi, cho ra 100 người, ngõ hầu có thể giải trừ thiên tai vậy "
Vua có nhiều vợ, phần lớn là nguời miền Nam. Như bà Hồ Thị Hoa ( Tá Thiên Nhân Hoàng Hậu ) là người Biên Hoà, x con của Phước Quốc Công Hồ Văn Bôi. Hai Vương phi sủng ái nhất là bà Hiền Phi Ngô Thị Chính, con của Chưởng Cơ Ngô Văn Sở và bà Lệ Tân Nguyễn Gia Thị, con của Phó Vệ Úy Nguyễn Gia Quý. Hiền phi sinh được bốn Hoàng Tử và hai Công Chúa. Nguyễn Gia Thị sinh được bảy Hoàng Tử và ba Công Chúa . Hai bà này thường hay xung đột nhau, bà Ngô Thị Chính cậy mình được vua yêu mến thường đánh ghen các bà khác làm vua Minh mâng nhiều lúc cũng lâm vào tình trạng khó xử.
Tương truyền bà Hiền Phi thường nói với những người thân cận rằng :
- Dù vua có yêu thương tôi bao nhiêu đi nữa thì khi từ biệt cõi trần, tôi cũng ta đi hai tay không mà thôỉ.
Minh mạng nghe được, đến khi bà mất đã thân hành đến tận chỗ bà nằm, đem theo hai nén vàng, bảo kẻ phục dịch mở hai bàn tay ra, nhà vua để hai nén vàng rồi ngặm ngùi nói :
- Đây Trẫm cho Phi cái này để cho khỏi ra đi hai bàn tay không .