NaNやInfを透明にして、背景を黒にすることは一つにアイディアです。
例えば：
rng(0);
X = peaks(20); % 適当なデータを作成
X(randperm(numel(X),3)) = nan; % 適当にNaNを入れる
X(randperm(numel(X),3)) = Inf; % 適当にInfをを入れる
X(randperm(numel(X),3)) = -Inf; % 適当に-Infをを入れる
figure;
h = imagesc(X);
h.AlphaData = isfinite(X); % NaNやInfを透明にする
h.Parent.Color = 'k'; %背景を黒にする
