O Google usa indexação mobile-first, o que significa que a versão mobile do seu site é a que o Google avalia prioritariamente para ranking. Se o seu site não funciona bem em dispositivos móveis, o ranking cai, independente de como a versão desktop funciona.
Além do impacto no ranking, a experiência do usuário em mobile é crítica: mais de 60% do tráfego web no Brasil vem de dispositivos móveis. Se o visitante precisa dar zoom, rolar horizontalmente ou lutar com botões pequenos, ele sai. Isso aumenta a taxa de rejeição, que é um sinal negativo para o Google.
Responsividade vai além de "o site cabe na tela". Inclui: textos legíveis sem zoom, botões e links com área de toque adequada, formulários funcionais em telas pequenas, imagens que se adaptam ao tamanho da tela e menus de navegação acessíveis. Teste seu site no Google Mobile-Friendly Test e no Chrome DevTools com emulação de dispositivos.