Theo ông Aaronson, cách này có thể hữu ích trong việc ngăn chặn đạo văn, nhưng nó cũng có thể gây ra một số rủi ro, ví dụ như tạo ra những thông tin tuyên truyền sai lệch, hoặc giả mạo lối viết của ai đó để buộc tội họ.
Chatbot này không hoạt động trơn tru 100%. Nó có xu hướng "ảo tưởng" những sự thật không hoàn toàn đúng.
Nhà phân tích công nghệ Benedict Evans đã mô tả chatbot "giống như một sinh viên chưa tốt nghiệp tự tin trả lời câu hỏi dù họ không tham gia buổi học nào, giống như một kẻ ngớ ngẩn nhưng lại tự tin rằng nó có thể viết ra những điều vô nghĩa đầy thuyết phục".
Nhưng công nghệ này lại được những kiểu sinh viên như vậy sử dụng vì họ cần nhanh chóng tạo ra một bài luận để được chấm điểm qua môn.
Kể từ khi ChatGPT được phát hành, nhiều tổ chức đã phải thiết lập các chính sách mới để ngăn chặn tình trạng đăng tải các văn bản do AI tạo ra. Stack Overflow, chuyên trang hỏi đáp dành cho các lập trình viên, đã cấm người dùng đăng các câu trả lời do ChatGPT viết.
Quản trị viên của Stack Overflow nói rằng họ áp dụng lệnh cấm vì các câu trả lời do ChatGPT trông có vẻ đúng và dễ tạo, nhưng thực tế là những câu trả lời đó có tỷ lệ sai rất cao.
"Nhìn chung, tỷ lệ nhận được câu trả lời đúng từ ChatGPT quá thấp nên việc đăng câu trả lời do ChatGPT tạo ra sẽ gây hại đáng kể cho những người đang muốn tìm câu trả lời đúng", quản trị viên lý giải.