Escravidão

Pessoal no livro do Cláudio Vicentino tem um trecho assim: A Escravidão era há muito praticada por europeus e árabes na África negra. Foi considerada uma instituição justa, quando, no seu início, os portugueses escravizavam os mouros, considerados infiéis pelos cristãos.
Até aqui eu entendi, continuando.
A " infidelidade" religiosa acabou sendo também estendida aos negros africanos, legitimando sua escravização

Essa última parte não que não entendi, se deve ao fato das várias religiões existentes no continente africano?  
Ou a igreja os consideravam hereges?
Procurei na internet mas não encontrei nada sobre essa motivação específica.

Eu penso que é isto:

Esta "infidelidade" religiosa era assim considerada pelos cristãos, em relação a todos os que não professavam a fé católica, inclusive mouros e negros africanos.

E o mesmo acontecia com os muçulmanos que denominavam de infiéis todos aqueles que não professavam sua fé (inclusive os europeus).

Faz sentido mestre, muito obrigado!