エラーメッセージのとおり、必要とされているファイルがないことがこのエラーの原因になります。 不足しているファイルは MSVCR80.dll ということです。
MSVCR80.dll は Microsoft Visual C++ 2005 Redistributable の一部で、SPM8のコードはこれでコンパイルされているようです。コンパイルして作成された MEXW64 のファイルは MSVCR80.dll に依存しており、実行時にこの dll を参照しにいきます。現在実行されている環境には Microsoft Visual C++ 2005 Redistributable がないため、このエラーが出ていると考えられます。
問題の回避方法として、以下よりMicrosoft Visual C++ 2005 Redistributable (x64) をインストールしてみてください。
- 参考: 無効な MEX ファイル エラー https://jp.mathworks.com/help/matlab/matlab_external/invalid-mex-file-error.html