留异，东阳长山人。长山，后汉县，今浙江金华县。世为郡著姓。异为乡里雄豪，多聚恶少，陵侮贫贱，守宰皆患之。梁代为蟹浦戍主，历晋安、安固二县令。吴东安县，晋改曰晋安，今福建南安县。汉安阳县，晋改曰安固，今浙江瑞安县。侯景之乱，还乡里召募士卒。东阳郡丞与异有隙，异引兵诛之，及其妻子。大守沈巡援台，让郡于异。异使兄子超监知郡事，率兵随巡出都。
及京城陷，异随临城公萧大连。大连板为司马，委以军事。景将宋子仙济浙江，异奔还乡里。寻以其众降于子仙。大连趣东阳之信安岭，后汉新安县，晋改曰信安，今浙江衢县境。欲之鄱阳，异乃为子仙乡道，令执大连。侯景署异为东阳大守，收其妻子为质。刘神茂拒景，异外同神茂，而密契于景。及神茂败绩，为景所诛，异独获免。侯景平后，王僧辩使异慰劳东阳。仍纠合乡闾，保据岩阻。其徒甚盛，州郡惮焉。元帝以为信安令。荆州陷，王僧辩以异为东阳大守。世祖平定会稽，异虽转输粮馈，而拥擅一郡，威福在己。