Tera Termを複数起動していると、どのウィンドウが、どのサーバーへの接続かパッと見で判別できず不便だなと思ってましたが… ふと「マクロで設定できるんじゃないか？」と マクロコマンド一覧 を調べてみたら、案の定ありました。
settitle '設定したいタイトル'
この一行をマクロに追加するだけでできました。
日本語を設定しようとすると文字化けをしましたので、タイトルにはドメインなどを指定してあげると分かりやすくて良さそうです。