Há imagem do que acontece com a grande maioria dos molossos europeus, o Rafeiro Alentejano descende dos mastins tibetanos, que se espalharam por todo o continente asiático e que, posteriormente, chegaram a toda a Europa pela mão dos Romanos. Utilizados inicialmente como cães de guerra, os molossos sofreram significativas alterações ao longo dos séculos, influenciadas pelas particularidades de cada região geográfica. Se na Grã-Bretanha foram utilizados sobretudo como animais de tracção, na Península Ibérica foram desenvolvidos como cães de pastoreio, protegendo os rebanhos de potenciais predadores, como o lobo ibérico, e de ladrões.

Em Portugal, nas épocas mais quentes do ano, os rebanhos migravam das planícies alentejanas para as montanhas do norte do país, chegando a ir até ao Douro. Nas épocas mais frias, o percurso era precisamente o inverso. Durante estas migrações, a que se chama transumância, os antepassados do Rafeiro Alentejano acompanhavam sobretudo o gado ovino. Não por acaso, a pelagem desta raça confunde-se com a das ovelhas, permitindo-lhe integrar-se como elemento do rebanho, com quem cria uma relação de grande confiança, deslocando-se no seu seio e surpreendendo os intrusos que se aproximem. Alguns estudiosos acreditam que estes antepassados foram levados pelos pescadores portugueses, durante os descobrimentos, para a ilha da Terra Nova, contribuindo para o desenvolvimento do (cão da) Terra Nova.

A maior de todas as raças portuguesas beneficiou do contributo do Cão da Serra da Estrela, do Mastim Espanhol e de cães locais para o seu apuramento, ocorrido principalmente na região do Alentejo. O rei Dom Carlos, que passava muito tempo no seu palácio real de Vila-Viçosa, tinha uma predilecção pelo Rafeiro Alentejano, utilizando-o como cão de caça, função que, ao contrário do que muitos pensam, também é capaz de desempenhar eficazmente. 

As transformações sofridas pelos sectores da agricultura e da pecuária, que puseram fim à transumância, e a diminuição do número de predadores, levou a que o Rafeiro Alentejano visse diminuir a sua funcionalidade, acabando por se fixar nas planícies alentejanas, onde actua como cão de guarda de rebanhos e de propriedades.

O nome “Rafeiro Alentejano” é utilizado desde o século XIX. Contudo, e apesar da antiguidade da linhagem deste guardião de rebanhos, apenas no século XX foi considerado como um cão de raça pura, o que não impediu que o nome pelo qual é conhecido continuasse o mesmo. O reconhecimento da raça pela Federação Cinológica Internacional (FCI), ocorrido em 1967, foi possível graças ao trabalho de António Cabral e de Filipe Romeiras, que identificaram o número de Rafeiros Alentejanos presentes na região e delinearam o estalão da raça.

Contra todas as expectativas, este reconhecimento oficial não proporcionou um aumento do número de exemplares, bem pelo contrário. O êxodo rural aliado à desertificação do interior levou a que, durante os anos 70 e 80, o Rafeiro Alentejano estivesse perto da extinção. Felizmente, o empenho de criadores comprometidos com a salvaguarda da raça permitiu que esta recuperasse a sua popularidade, registando-se, actualmente, 200 a 500 novos exemplares todos os anos.