アークコサイン(逆余弦関数)を使って求めることができます。MATLABの関数としては、acos 又は acosd になります。出力される角度θを、前者はラジアン、後者は度として出力します。
% 例: cos(θ) = 0.5 のθを求める
theta_rad = acos(0.5); % = 1.0472 (=pi/3) [rad]
theta_deg = acosd(0.5); % = 60.0 [度]
ちなみに、cosθ=3.1234 だとθの値は角度として求まらない(複素数になる)ですが、合ってますでしょうか?