O outgroup escolhido é hipotético de estar menos relacionado com o ingroup do que o ingroup está relacionado consigo mesmo. A conclusão evolutiva destas relações é que a espécie do outgroupo tem um antepassado comum com o ingroupo que é mais velho do que o antepassado comum do ingroupo. A escolha do outgroupo pode alterar a topologia de uma filogenia. Por conseguinte, os filogenéticos utilizam tipicamente mais do que um outgroupo na análise cladística. O uso de múltiplos outgrupos é preferível porque proporciona uma filogenia mais robusta, protegendo contra candidatos pobres a outgrupos e testando a hipótese monofisica do ingroupo.
Para ser qualificado como um outgroupo, um táxon deve satisfazer as duas características seguintes:
- Não deve ser um membro do ingroupo.
- Tem de estar relacionado com o ingroup, suficientemente próximo para comparações significativas com o ingroup.
Por conseguinte, um outgroup apropriado tem de estar inequivocamente fora do clade de interesse no estudo filogenético. Um outgroup que esteja aninhado dentro do ingroup resultará, quando usado para enraizar a filogenia, em conclusões incorrectas sobre as relações filogenéticas e a evolução dos traços. No entanto, o nível óptimo de relação do outgroup com o ingroupo depende da profundidade da análise filogenética. Escolher um outgroup estreitamente relacionado em relação ao ingroup é mais útil quando se olha para diferenças subtis, enquanto a escolha de um outgroup indevidamente distante pode resultar no erro de evolução convergente para uma relação evolutiva directa devido a um antepassado comum. Para uma filogenética superficial – por exemplo, a resolução das relações evolutivas de um clade dentro de um género – um outgroup apropriado seria um membro do clade irmão. No entanto, para uma análise filogenética mais profunda, podem ser utilizados taxas menos relacionadas. Por exemplo, Jarvis et al. (2014) utilizaram humanos e crocodilos como outgroups enquanto resolviam os ramos iniciais da filogenia aviária. Na filogenética molecular, satisfazer o segundo requisito significa tipicamente que as sequências de ADN ou proteínas do outgroup podem ser alinhadas com sucesso com sequências do ingroupo. Embora existam abordagens algorítmicas para identificar os outgroups com a máxima parcimónia global, estes são frequentemente limitados por não reflectirem a natureza contínua e quantitativa de certos estados de carácter. Os estados de carácter são traços, ancestrais ou derivados, que afectam a construção de padrões de ramificação numa árvore filogenética.