行列に対して 1次元のFFT を行う場合は、 fftnではなく fft を使います。
>> fft(mtx);
既定では、行列の縦の方向に沿って1次元fft を行いますが、
横方向に沿って 1次元fftを行う場合は、
>> fft(mtx, [], 2)
とします。
※ 下記は、 fft 関数のドキュメント抜粋となります。
Y = fft(X,n,dim) は、次元 dim に沿ったフーリエ変換を返します。たとえば、X が行列の場合、fft(X,n,2) は、各行の n 点のフーリエ変換を返します。