Fra 323 f. Kr. til 476 e. Kr.
Tårnet i Drakano
Under krigene, som fulgte efter Alexander den Stores død i 323 f. Kr., blev Ikaria en vigtig militærbase. En af Alexanders efterfølgere, muligvis Demetrius Poliorcetes, byggede tårnet ved Fanari, Drakano, og den tilstødende fæstning. Det er et af de bedst bevarede hellenistiske militærtårne i Ægæerne. (Hellenistisk tid fra 323 til 31 f. Kr.)
(Se mere under arkæologiske steder fra antikken.)
Senere i hellenistisk og i romersk tid ser det ud til, at øens nedgang fortsatte. Selv om romerne etablerede kontrol over området, førte de ikke nok kontrol til at give tilstrækkelig beskyttelse.
Såvel i den hellenistiske som i den romerske periode var Ikaria udsat for gentagne piratangreb, og særlig slemt blev det i 200-tallet f. Kr., hvor indbyggerne rømmede fra kystbosætningerne og op i bjergene, hvor de stort set blev boende i ca. 2.000 år.
I 129 f. Kr. blev Samos lagt administrativt ind under den romerske provins Asien, og antagelig blev også Ikaria inkluderet i provinsen.
Kejser Augustus (kejser 27 f. Kr. til 14 e. Kr.) genetablerede senere romersk orden i Ægæerhavet og opmuntrede Samos til at udvikle Ikaria. Den græske rejsende Strabon bemærkede ca. år 10 f. Kr., at der var to små bosættelser, men ellers var øen forladt, bortset fra folk fra Samos, som benyttede øen til husdyrhold.
Under den romerske kejser Nero (kejser fra 54 til 68), og senere i det 2. årh., modtog Ikaria et stort antal landsforviste og var også et tilflugtssted for de forfulgte kristne.
I det 3. årh. plyndrede goterne de fleste af de ægæiske øer, da de sejlede ind i det sydøstlige Middelhav med tusindvis af skibe.
Derefter fulgte jordskælv og pest, hvilket var katastrofalt for såvel de græske øer som for Lilleasiens kyster. Til slut bragte en serie af piratangreb i det 4. årh. et skæbnesvangert klimaks for øboerne, og dette førte til, at mange øer blev forladt.
Ved slutningen af den romerske periode var Ikaria i stærkt forfald.