配置交互式调试的环境
支持的平台:仅限 Linux®。
在使用 MATLAB® API for Spark™ 以交互方式调试应用程序之前,您必须通过将 Spark 程序集 jar 的位置添加到 MATLAB 的静态 Java 类路径的前面来配置 MATLAB 环境。
Spark 组装 JAR 文件包含所有 Spark 依赖项,包括一些内部 Hadoop® 依赖项。此 JAR 文件是在 Spark 安装期间创建的,并且特定于 Spark 和 Hadoop 版本的特定组合。例如,使用 Spark 版本 1.4.0 和 Hadoop 版本 2.4.0 会创建文件 spark-assembly-1.4.0-hadoop2.4.0.jar。
要将 Spark 程序集 jar 的位置添加到 MATLAB 静态 Java® 类路径的前面,请使用以下步骤:
打开 Linux 终端。
导航到目录
,其中<matlabroot>/bin是安装 MATLAB 的位置。<matlabroot>设置环境变量
SPARK_HOME指向 Spark 安装目录。例如:Shell 命令 zsh / csh / tcsh % setenv SPARK_HOME /share/spark
bash $ export SPARK_HOME=/share/spark
从目录
执行 shell 脚本<matlabroot>/bingeneratesparkjcpath。例如:$ ./generatesparkjcpath
这将在您的
javaclasspath.txt目录中创建一个名为的文件。示例<matlabroot>/binjavaclasspath.txt文件的内容如下所示:<before> /share/spark/conf/ /share/spark/lib/spark-assembly-1.4.0-hadoop2.4.0.jar /share/spark/lib/datanucleus-rdbms-3.2.9.jar /share/spark/lib/datanucleus-api-jdo-3.2.6.jar /share/spark/lib/datanucleus-core-3.2.10.jar
这
<before>标记确保spark-assembly-1.4.0-hadoop2.4.0.jar被添加到 Java 类路径的前面。从
目录启动 MATLAB。<matlabroot>/bin
注意
您可以通过指定 javaclasspath.txt 选项在 以外的目录中创建 <matlabroot>/bin-o 文件。该文件必须命名为 javaclasspath.txt。例如:
$ ./generatesparkjcpath -o /home/user/javaclasspath.txt
javaclasspath.txt 文件的目录启动 MATLAB。 您可以通过在 Java 命令提示符下键入以下内容来验证 spark-assembly-1.4.0-hadoop2.4.0.jar 是否已添加到 MATLAB 类路径的前面:
>> spath = javaclasspath('-static') ;
>> spath(1:5)
/share/spark/lib/spark-assembly-1.4.0-hadoop2.4.0.jar。您只需完成一次此配置。后续使用只需要从包含 javaclasspath.txt 文件的文件夹启动 MATLAB。
注意
您可以将生成的 javaclasspath.txt 放在您的 prefdir 中。如果您这样做,MATLAB 会在启动时将必要的库添加到静态路径。