L’outgroup choisi est supposé être moins étroitement lié à l’ingroup que l’ingroup est lié à lui-même. La conclusion évolutive de ces relations est que l’espèce de l’outgroupe a un ancêtre commun avec l’ingroupe qui est plus ancien que l’ancêtre commun de l’ingroupe. Le choix de l’outgroupe peut modifier la topologie d’une phylogénie. Par conséquent, les phylogénéticiens utilisent généralement plus d’un outgroupe dans l’analyse cladistique. L’utilisation de plusieurs outgroupes est préférable car elle permet d’obtenir une phylogénie plus robuste, en faisant tampon contre les mauvais candidats outgroupes et en testant la monophylie hypothétique de l’ingroupe.
Pour être qualifié d’outgroupe, un taxon doit satisfaire aux deux caractéristiques suivantes :
- Il ne doit pas être membre de l’ingroupe.
- Il doit être apparenté à l’ingroupe, de manière suffisamment proche pour permettre des comparaisons significatives avec l’ingroupe.
Par conséquent, un outgroup approprié doit être sans ambiguïté à l’extérieur du clade d’intérêt dans l’étude phylogénétique. Un outgroupe imbriqué dans l’ingroupe entraînera, lorsqu’il sera utilisé pour enraciner la phylogénie, des conclusions incorrectes sur les relations phylogénétiques et l’évolution des caractères. Cependant, le niveau optimal de parenté entre l’outgroupe et l’ingroupe dépend de la profondeur de l’analyse phylogénétique. Le choix d’un outgroupe étroitement lié à l’ingroupe est plus utile pour l’étude de différences subtiles, tandis que le choix d’un outgroupe trop éloigné peut conduire à confondre une évolution convergente avec une relation évolutive directe due à un ancêtre commun. Dans le cas d’une phylogénétique superficielle, par exemple pour résoudre les relations évolutives d’un clade au sein d’un genre, un sous-groupe approprié serait un membre du clade frère. Cependant, pour une analyse phylogénétique plus profonde, des taxons moins proches peuvent être utilisés. Par exemple, Jarvis et al. (2014) ont utilisé des humains et des crocodiles comme outgroupes pour résoudre les premières branches de la phylogénie aviaire. En phylogénétique moléculaire, satisfaire à la deuxième exigence signifie généralement que les séquences d’ADN ou de protéines de l’outgroupe peuvent être alignées avec succès sur les séquences de l’ingroupe. Bien qu’il existe des approches algorithmiques pour identifier les sous-groupes avec un maximum de parcimonie globale, elles sont souvent limitées par le fait qu’elles ne reflètent pas la nature continue et quantitative de certains états de caractère. Les états de caractère sont des traits, ancestraux ou dérivés, qui affectent la construction des schémas de branchement dans un arbre phylogénétique.