以下の方法でプロセスを正常終了できました。
dispose(hJObject);
ただ、disposeという関数は（というかHTMLBrowserPanelもそうですが）非公開機能のようなので情報があまりありません。
対策として適切でしょうか？
【補足】
上記の解決策にたどり着く前は、
system("taskkill /im jxbrowser-chromium.exe /f");
で強制的にプロセスを終了させていたのですが、この方法だと次にjxbrowser-chromium.exeを起動させた際、ユーザエージェントがIE7相当のものに書き換えられ、一部のサイト（GoogleMap等）が正常に表示されない問題がありました。
（MATLAB再起動でユーザエージェントは元に戻るようですが）
