Nimeni nu pare să ştie de unde au venit. Prima lor atestare documentară o regăsim în anul 1068 în Imperiul Bizantin, deşi o legendă din anul 950 îi pomeneşte într-o lumină care seamănă izbitor cu portretul ţiganilor contemporani. Legenda vorbeşte despre regele persan Bahram Gur, care a domnit în prima jumătate a secolului al V-lea. Aici răsar primele mărturii despre nişte nomazi, denumiţi „luri”, ce se ocupau cu muzica. Bahram îi cere conducătorului Indiei 12.000 de luri care să-i distreze Curtea Regală. Ţiganii „luri” ar fi urmat să se stabilească în Persia, să muncească pământul, primind în schimb vite, măgari şi grâne. În schimb, au mâncat vitele şi grânele, au refuzat munca la câmp şi au sfârşit prin a fi izgoniţi de rege. Dincolo de legendă, istoricii spun că adevăratul exod al ţiganilor s-a produs la începutul secolului al XI-lea, în vremea sultanului Mahmud de Ghazni, care a invadat India de 17 ori în cursul sângeroasei lui domnii, între anii 971 şi 1030.
Despre originea ţiganilor se vorbeşte şi în „Kitab al-Yamini”, un manuscris al cronicarului Al-’Utbi, datând chiar din secolul al XI-lea, unde se spune că leagănul ţiganilor este oraşul Kanauj, din India de Nord. În data de 20 decembrie 1018, 53.000 de locuitori din Kanauj au fost deportaţi de sultanul Mahmud de Ghazni în regiunea Khorasan, Iran. Obligaţi să muncească, ţiganii au rezistat doar vreo câteva decade în acest perimetru şi au migrat spre Imperiul Bizantin şi Balcani. Au ajuns în Constantinopol, capitala Sfântului Imperiu Bizantin, unde au fost menţionaţi în anul 1068. Nu s-au putut stabili nici aici, şi au înaintat spre Europa.
Pe teritoriul românesc au fost menţionaţi pentru prima dată în 1385 şi 1387, în două acte de donaţie ale domnului Ţării Româneşti Dan I către Mănăstirile Vodiţa şi Tismana. În Transilvania, prima menţiune datează din 1416, iar în Moldova prima consemnare a prezenţei ţiganilor este din anul 1428, în timpul domniei lui Alexandru cel Bun.
Sunt puţine izvoare care să îi prezinte pe ţiganii de pe teritoriile româneşti, însă zicătorile populare abundă de portrete în care sunt prezentaţi asemenea imaginii pe care o au românii cotidieni despre această etnie. „Nici răchita pom de bute, Nici ţiganul om de frunte”, „Când te întâlneşti cu un ţigan, mergi cu grijă un’te duci”, „Să ai noroc şi bani. Şi boală în ţigani”, „Şi-a mâncat cinstea, ca ţiganul biserica” (Proverbele Românilor, Iuliu A. Zanne).