膝など3次元の関節角の検討という事ですと、ロボット工学の分野で知られている解析手法が比較的便利にお使いいただけるかと思います。
順運動学（同次変換行列）や、逆運動学などが関連キーワードですので、こちらで検索するといろいろと見つかるかと思います。
MATLAB単体でも簡単に記述できますが、ツールボックスにある程度解説や、例題があるという意味で、
Robotics System Toolboxの機能や例題がお薦めです。
場合によっては、Simscape Multibodyの例題も参考になるかもしれません。
以上参考になりましたら幸いです。
