Không có tài liệu chính thức nào ghi lại chính xác nguồn gốc của xì phé 3 lá, nhưng nhiều nhà nghiên cứu văn hóa dân gian cho rằng trò chơi này xuất hiện từ thời kỳ phong kiến, khi bài Tây du nhập vào Việt Nam. Từ đó, người Việt đã sáng tạo ra nhiều biế