Simulink 7.4 (R2009b) 以降のバージョンをご利用の場合、Relational Operator ブロックにおいて、比較演算子に isNaN を選択することで可能です。
R2009b 以前のバージョンをご利用の場合、下記の方法がご利用いただけます。
NaN ~= x は、NaN を含むすべての値 x に対して 真(True) となります。
つまり、NaN ~= NaN は真となります。
NaN 以外はすべて、自身と自身を ~= で比較した場合、偽(False) となりますので、これを利用することで、基本的なブロックを使用しての NaN の検出が可能です。
関連ドキュメントの例題をご覧ください。
また、C 言語は math.h の中に ISNAN 関数を持っており、double の値が NaN かどうかをチェックするために、C-MEX S-function の中で使用することができます。なお、この関数を使用するためには、ユーザーの S-function のトップで math.h をインクルードしてください。