Para trocar a porta ssh do seu servidor é preciso está logado como root e segui os seguintes passos:
1.Em primeiro lugar adicione a nova porta no firewall, estaremos utilizando de exemplo a porta 6976 então adicione essa porta em seu firewall.
2.Após isso edite o seguinte arquivo
nano /etc/ssh/sshd_config
3-Localize a porta atual que estará na variável Port provavelmente ela vai estar comentada, se estiver setada a porta padrão(22):
#Port 22
4-Remova o caracterer de comentário # e mude a porta(no caso a 22 se estiver a padrão) para a desejada:
Port 6976
Atenção: Certifique-se que esta porta não esta sendo usada por outro serviço… pois se estiver você ficara sem acesso SSH.
5-Salve e feche o arquivo de configurações
6-Reinicie o SSH daemon e tente se conectar com a nova porta:
/etc/init.d/sshd restart