fminsearch関数の入力引数のうち、どの値をSimulinkから入力したいのか分かりませんが、MATLABで２変数の関数出力を使ってfminsearch関数を動かしたいなら次のように記述します。
fun = @(s) (funX(s(1)) - funY(s(2)))^2;
s0 = [1 2];
t = fminsearch(fun,s0)
function out = funX(in)
out = 2*in;
end
function out = funY(in)
out = 0.5*in;
end
HTH
