手順

Resource Managerで✕マークを追加する

【Android Studio】Vector Assetsの追加手順 を参考に✕マークを追加する。

close選択する。

✕マークの追加

Fragment#onCreateView でホームボタンを差し替える

(activity as? AppCompatActivity)
  ?.supportActionBar
  ?.setHomeAsUpIndicator(R.drawable.ic_baseline_close_24)