自動車免許の過去問 | 予想問題
普通自動車免許
問134

免許証に記載された氏名や住所が変わった場合（結婚や転居など），速やかに住所地を管轄する公安委員会(つまり警察)に届け出をし，変更を受けなければなりません。

また，免許証をなくしたり，盗まれたり，破損した場合は，住所地を管轄する公安委員会に免許証の再交付を申請することができます。特に盗まれた場合は悪用される恐れがあるので，速やかに再交付を申請しましょう。
【法的根拠】道路交通法第94条

道路交通法
第九十四条 　免許を受けた者は、第九十三条第一項各号に掲げる事項（この場合本籍・住所・名前など）に変更を生じたときは、速やかに住所地を管轄する公安委員会（公安委員会の管轄区域を異にして住所を変更したときは、変更した後の住所地を管轄する公安委員会）に届け出て、免許証に変更に係る事項の記載（前条の規定による記録が行われる場合にあつては、同条の規定による記録）を受けなければならない。

住所変更をせずに使用していると、現住所の身分証明として使用できないことに加え、免許更新の手続きや違反の際の呼び出しが旧住所管轄の警察署で行われるというデメリットが発生します。

その通りです。
住所地の公安委員会（警察署や免許センター）に届出が必要です。