Năm 17 tuổi, Olivia có mối quan hệ tình cảm gắn bó đầu tiên. Bạn trai của cô là nam diễn viên Christopher Jones hơn cô 10 tuổi. Về sau này, trong tự truyện của mình, Olivia nhìn nhận mối quan hệ này đã đưa lại những khoảnh khắc đen tối nhất trong cuộc đời mình.
Khi hẹn hò với Olivia, nam diễn viên Christopher đang có nhiều bất ổn tâm lý, Olivia đã phải hứng chịu những bạo hành thể chất và tinh thần từ Christopher. Mối quan hệ bất ổn kết thúc sau một năm đồng hành, Olivia quyết định chuyển từ Anh tới Hollywood (Mỹ) sinh sống để mở rộng sự nghiệp.
Tại Hollywood, Olivia ở nhờ nhà một người bạn của Christopher. Ngay sau đó, Christopher cũng tới Hollywood và ở nhờ nhà người bạn này. Thoạt tiên, Christopher và Olivia thống nhất rằng mối quan hệ tình cảm giữa họ đã kết thúc, vì vậy, hai người sẽ không gặp riêng, Christopher không được tiếp cận Olivia dù họ đang sống chung nhà.
Ở Hollywood, Olivia bị cuốn hút bởi những cuộc vui hào nhoáng, cô không thực sự quan tâm tới việc gây dựng sự nghiệp diễn xuất ở đây, mà chỉ háo hức với những cuộc vui. Không những vậy, Olivia bắt đầu dùng chất kích thích và thường không ở trong trạng thái tỉnh táo.
Sự việc đáng buồn nhất xảy tới với Olivia trong một buổi tối khi Christopher - bạn trai cũ sống chung nhà với cô - lên cơn điên loạn vì những bất ổn tinh thần. Anh ta đã lẻn vào phòng của Olivia đánh đập và cưỡng hiếp cô. Olivia bị bầm giập, thâm tím nặng nề, cô buộc phải ở trong nhà hai tháng chờ những vết thương, vết bầm tím dần biến mất.
Sau khi hồi phục, Olivia quyết định đi khám và được biết cô đã... mang thai. Nữ diễn viên quyết định bỏ thai. Lúc này, Christopher lại cầu xin cô hãy giữ đứa trẻ lại, nhưng Olivia khẳng định rằng nếu anh ta còn tiếp cận riêng cô lần nữa, cô sẽ tiết lộ mọi chuyện cho truyền thông. Kể từ sau đó, Olivia không bao giờ gặp lại Christopher nữa.
Kể từ khi Olivia có mặt ở Hollywood, nam ca sĩ - diễn viên Dino Martin đã luôn theo đuổi cô. Anh đã ở bên hỗ trợ cô rất nhiều, đặc biệt là khi Olivia gặp phải sự việc bi kịch với Christopher. Olivia rất cảm động và quyết định gắn bó với Dino một cách nghiêm túc. Đối với Olivia, đó là những ngày tháng tươi sáng và hạnh phúc nhất trong cuộc đời cô.
Olivia và Dino bước vào hôn nhân năm 1971, khi cả hai đang ở tuổi 20. Từ cuộc hôn nhân này, Olivia có một cậu con trai, nhưng chính khi Olivia đang mang thai, Dino đã ngoại tình. Cuối cùng, hai người lựa chọn chia tay trong năm 1978, sau 7 năm gắn bó.
Cuộc hôn nhân đầu tan vỡ khiến Olivia suy sụp và bắt đầu mắc chứng rối loạn lo âu. Cho tới tận hôm nay, khi đã ở tuổi ngoài 70, bà Olivia cho biết những hệ lụy tâm lý mà bà gặp phải sau khi cuộc hôn nhân đầu tan vỡ vẫn có những lúc xuất hiện trở lại trong cuộc sống của bà.
Sau giai đoạn suy sụp kéo dài 2 năm, Olivia gặp gỡ rồi tái hôn với nam ca sĩ người Nhật Akira Fuse, nữ diễn viên có thêm một người con trai. Cuộc hôn nhân này kéo dài được 9 năm.
2 năm sau khi ly hôn người chồng thứ 2, Olivia bước vào cuộc hôn nhân thứ 3 với nam ca sĩ David Glen Eisley rồi gắn bó kể từ năm 1991 đến nay. Từ cuộc hôn nhân này, bà có thêm một cô con gái.
Năm 2008, bà Olivia từng bị chẩn đoán ung thư vú giai đoạn 4, bà trải qua phẫu thuật cắt bỏ vú. Nhưng một thập kỷ sau, những tế bào ung thư xuất hiện trở lại. Lần này, bà điều trị bằng hóa trị và xạ trị, kết quả khá lạc quan khi khối u thu nhỏ lại. Trong những năm qua, sức khỏe của bà Olivia vẫn ở trạng thái ổn định.
Bà Olivia đã không tham gia diễn xuất kể từ năm 2015. Năm 2021, bà Olivia từng tiết lộ với tờ tin tức Daily Mail (Anh) rằng hiện tại, tài sản của bà chẳng còn gì nhiều nhặn.