記憶不足の状況の場合,アプリが落ちることがあります.MATLAB が落ちるときに,ログファイルが生成されていることがあります.下記 MATLAB Answer をもとに,ログファイルの有無を確認してみてください.ある場合は,ログファイルで報告されているものに類似する事象があるか,調べてみることが状況が分かる場合があります.
参考までに,Simulink シミュレーション時のメモリ不足の解消方法として,下記のような情報が公開されています.該当する項目がないか,念のため確認してみるといいかと思います.
上記が該当しない場合,1回のシミュレーション時間を少なくすること,一度に行う最適化のパラメータの数を減らすなど,より早くパラメータ最適化をするための工夫により,回避できることもあるかと思います.