Avalcon vznikl v roce 1996 jako tradiční setkání fanoušků fantastické literatury. Jméno získal jakožto (c) con sci-fi klubu Avalon, pojmenovaného podle tehdy populární série Amber od Rogera Zelaznyho.
Rozvoj programu nejen o literární fantastice vedl k pozdějšímu přejmenování na Festival fantazie (od 1999), Avalcon zůstal jeho literární programovou linií. Zahrnuje přednášky spisovatelů, redaktorů, překladatelů, odborníků a fanoušků, besedy s hosty z domova i zahraničí, tematické diskuse, soutěže, výstava obrazů, autogramiády...
V roce 1999 proběhl první Avalcon Speciál, v roce 2006 přejmenovaný na Festival fantazie Speciál, opět s literární linií Avalcon Speciál. Se zánikem FF Speciál zanikl i Avalcon Speciál, ale literární linie pod názvem Fanzine (ve spolupráci se stejnojmenným webem) zůstala zachována ve stejném termínu v novém festivalu fantastiky a her v Praze - FanCity.
V rámci PragoFFestu se odehrává jeho další obdoba - literární program Pevnost pod patronátem stejnojmenného časopisu.