Dù được lãng mạn hóa trong văn hóa đại chúng, nhưng thực tế lịch sử cho thấy Vàng Hải Tặc là nguyên nhân của nhiều cuộc tàn sát, phản bội và cả diệt chủng. Các hạm đội châu Âu săn lùng vàng từ Nam Mỹ về đã tàn phá nền văn hóa bản địa, giết hại người dân