Problema com Conexão entre dois Servidores via IAX2

Bom dia, tarde e ou noite.
Eu estou com um problema entre a conexão entre dois Trunks;
Temos a seguinte configuração, dois servidores Asterisk conectados por IAX2 que vou chamar de Serv1 e Serv2.
Normalmente eles ‘se enxergam’ e podemos passar ligações entre eles normalmente, porém algumas vezes o Serv1 não consegue passar ligar para o Serv2 pois o Peer IAX2 consta como Unreachable, mas ao mesmo tempo o Serv2 consegue ligar para o Serv1 porque o Peer está como OK.
Quando ocorre isso logamos no Asterisk do Serv1 e utilizamos os comandos
module unload chan_iax2.so e module load chan_iax2.so que geralmente funciona.
Porém depois que houve um problema com a internet do Serv2 esse comando não funciona mais, e as vezes a conexão entre eles só volta a funcionar quando reiniciamos o servidor ou o modem.
Devido a esses problemas e as configuração em ambos os servidores estarem certas, e o Serv2 conseguir enxergar o Serv1, temos um palpite com 98% de certeza que o problema está no modem que está bloqueando alguma coisa.
O modelo do modem é um GPT-2541GNAC-N1.
Vocês saberiam o que pode estar acontecendo pro modem bloquear essa conexão mesmo com as portas liberadas. Obg.