Tuy nhiên, hệ thống AI của UAV đã tấn công người vận hành bởi nhân vật này cản trở nó hoàn thành mục tiêu.
Trước khi cuộc thử nghiệm diễn ra, chiếc UAV đã được cài đặt việc bắn các mục tiêu là lựa chọn ưu tiên, nên trong quá trình thử nghiệm mô phỏng, AI đã đưa ra kết luận bất kỳ hướng dẫn "cấm thực hiện" nào từ con người đều là cản trở sứ mệnh.
"Chúng tôi đã đào tạo hệ thống: Này, đừng giết người điều hành - điều đó thật tệ. Bạn sẽ bị mất điểm nếu làm vậy. Nhưng nó làm gì? Nó bắt đầu phá hủy tháp liên lạc mà người điều khiển sử dụng để liên lạc với UAV nhằm ngăn nó tiêu diệt mục tiêu".
Không có thương vong nào xảy ra trong cuộc thử nghiệm này. Ông Hamilton đồng thời cảnh báo về việc phụ thuộc quá nhiều vào AI.
Cùng quan điểm với ông Hamilton, Giáo sư Stuart Russell, tại Đại học California (Mỹ) người dẫn đầu về AI cũng bày tỏ quan ngại tại một cuộc họp của Liên Hợp Quốc diễn ra ở Geneva (Thụy Sĩ) về những nguy hiểm trong việc đưa máy bay quân sự và vũ khí dưới sự kiểm soát của AI.
Kịch bản cơ bản có thể sai lệch, khi đó các mục tiêu mà AI đưa ra rất nguy hiểm. Mặc dù vậy, các quốc gia hiện vẫn đang cố gắng xây dựng hệ thống AI của mình trước khi đối thủ của họ có thể đạt được.