コンスタレーションの表示に関してですが、ドキュメントによれば、"constellation"は、変調オブジェクトを引数にとり、"理想的なコンスタレーション"を求めるものとなっています。
実際の変調信号については、以下の例の様に、scatterplot、もしくはcomm.ConstellationDiagramを使用してはいかがでしょうか?
qpskMod = comm.QPSKModulator;
qpskDemod = comm.QPSKDemodulator;
nFrames = 10000;
nSymbolsPerFrame = 256;
deruta=0;
k=(0:nSymbolsPerFrame);
data = randi([0 3],nSymbolsPerFrame,1);
X_l = qpskMod(data);
scatterplot(X_l)
%Constdiag = comm.ConstellationDiagram;
%Constdiag(X_l)