hosts に互いのレコードが追加されているか確認する。
のが良いかもしれないというお話。
接続元サーバは グローバルIPとローカルIPを持っていて、
接続先サーバはローカルIPであった場合。
接続先サーバでは 接続元サーバの名前解決を行うと、
グローバルIPアドレスが返って来るため、
SSH接続のネゴシエーションをグローバルIPに返してしまう。
ローカルIP同士で通信すればすぐに済む話が、
グローバルIP側を回ろうとすることで遅くなっていた。
接続先サーバの hostsに 接続元サーバのローカルIPを追記したところ、
接続するまでが早くなった。