La familia de Isidoro, parece que huyó a Sevilla tras la conquista bizantina al ser estos defensores del rey Agila I frente a Atanagildo, aliado de los bizantinos.
Miembros de esta familia son su hermano Leandro, su inmediato predecesor en el arzobispado de Sevilla y oponente del rey Leovigildo (llegó al arzobispado al inicio del reinado del nuevo rey, el ya católico Recaredo); su hermano Fulgencio, que llegó a ser obispo de Cartagena y de Astigi (hoy Écija), y también su hermana Florentina, de la que la tradición dice que fue abadesa a cargo de cuarenta conventos. Los cuatro fueron canonizados y se les conoce colectivamente como los Cuatro Santos de Cartagena, siendo los patrones de la diócesis cartagenera. Isidoro también es hermano de Teodora o Teodosia, reina de la Hispania visigoda por su matrimonio con el rey Leovigildo. Isidoro y sus hermanos Leandro, Fulgencio y Florentina son tíos, por tanto, de los hijos de Leovigildo y Teodora: Hermenegildo (posteriormente también canonizado) y Recaredo, el rey visigodo que se convirtió al cristianismo católico.
