Hiszpanie usiłowali nowo odkryte wyspy zasiedlić, nawet założyli kopalnię miedzi na Virgin Gorda (Gruba Dziewica), niemniej sąsiedztwo wielkiego i bogatego Puerto Rico było dużo bardziej pociągające. Poza tym ufortyfikowana stolica San Juan czyniła Puerto Rico wyspą o wiele bezpieczniejszą tym bardziej, że Karaiby pełne były okrętów rywalizujących mocarstw jak Anglia, Francja czy Holandia. Toteż wyspy zostały początkowo zasiedlone przez Holendrów. Część archipelagu przeszła we władanie Brytyjczyków, którzy w 1666 roku wyrugowali z nich Holendrów. Wyspy były znakomitym schronieniem dla wszelakiej maści piratów, bukanierów. Tutaj bywał słynny korsarz - ulubieniec królowej Elżbiety I – Sir Francis Drake, bywali niemniej słynni piraci; Henry Morgan, Sir John Hawkins i Blackbeard (Czarnobrody). Legenda o nich i wielkich skarbach do dzisiaj otacza Wyspy Dziewicze mgiełką tajemniczości.