Geralmente, essas configuração são feitas revendedores de hospedagem que usam DNS personalizadas em sua revenda.
*Antes de prosseguir com este tutorial, certifique-se de ter criadas as Entradas A lá no WHM de sua revenda.
1° Logue-se na Área de cliente
2° No menu suspenso que fica na barra de topo do site, clique em: Domínios --> Meus Domínios
3° Agora selecione o domínio que deseja configurar e clique em: Gerenciar domínio

4° Em Ferramentas de Gerenciamento, clique em: REGISTRAR NAMESERVERS

5° Você vai ver vários campos e terá que usar apenas os dois que estão no início, que são:
Nameserver: local onde você vai colocar o nome da nova DNS
Endereço IP: nesse você coloca o endereço IP do servidor
Por exemplo:
No 1° campo, coloco: ns1
e no 2° campo, o IP primário do servidor: 123.456.789
*Em seguida você pode repetir o mesmo procedimento para NS2, sendo que no 2° deverá colocar o IP secundário do servidor.

6° Após criar as DNS, você pode usar elas em seu domínio.
Volte para a administração do domínio e clique em: Namesevers
E adicione as novas DNS nos campos que correspondem a elas:
Exemplo:
ns1.seudomínio.com
ns2.seudomínio.com

Pronto!
Você concluiu a personalização de suas DNS e já pode repassar elas para todos os seus clientes que forem hospedados em seu WHM.
Um dia você pode mudar de provedor de hospedagem e alterar os IPS das DNS, veja como fazer isso.