本页面使用了机器翻译。
请花 1 分钟时间完成一个翻译质量的调查。
利用人工智能减少柴油排放
深度强化学习将 NOx 排放大幅削减至近乎零
作为化石燃料燃烧的副产品，氮氧化物是最难监管的污染物之一，也是对人类健康危害最大的污染物之一。这些统称为“NOx”的化学物质构成了褐色烟雾；尽管空气质量控制日益严格，这种烟雾仍笼罩在一些城市的天际线上。
为了应对自 2014 年起实施的美国环保局第四阶段最终版法规中的 NOx 监管水平，在功率 56 kW 或以上的工业柴油发动机中，主要使用了选择性催化还原 (SCR) 催化剂。随着法规日益严格，未来需要进一步降低 NOx 水平，这将导致系统变得更加复杂和先进，开发时间也将前所未有地延长。因此，效率也需要进一步提高。生产农业设备、能源系统和工业发动机的洋马美国公司的工程师们正在率先使用深度强化学习 来改进这项技术。
“我们需要在 56 kW 以上的发动机上再减少 90% 的排放，以满足预期的新标准，从而使我们的 SCR 发动机尾气排放接近零 NOx，”洋马美国公司的研发工程师 Martin Muinos 说道。
加州空气资源委员会制定了限制非道路柴油发动机污染物的标准。其新提出的第五阶段标准将在未来十年内分阶段实施，要求制造商在某些功率类别中削减 90% 的 NOx 排放。
洋马 4TN107FTT 发动机，配备 SCR 技术。（图片所有权：洋马美国公司）
几年前，洋马美国公司的工程师开始研讨如何在他们的新发动机中满足这一要求。这些发动机已经配备了 SCR，通过氨和 NOx 之间的化学反应来最大限度地减少 NOx 排放。氨通过柴油机尾气处理液 (DEF) 喷射器引入 SCR 催化剂上游的排气中。DEF 是一种尿素水溶液，在热废气中分解成氨。在催化剂的帮助下，氨将 NOx 分解成氮气，这是大气中的一种天然成分。
但仍有一些 NOx 会穿过这个清洁过程，而且氨本身也是一种不健康的污染物，可能会泄漏到空气中。这种不幸的缺点被称为氨泄漏。“你想尽可能多地在 SCR 上存储氨，以提高 NOx 转化能力，”Muinos 说，“但这存在挑战，因为氨的存储依赖于温度。”例如，废气温度的快速升高会导致氨泄漏。
展示使用 SCRs 降低 NOx 排放的流程图。（图片所有权：洋马美国公司）
SCR 的尺寸是另一个限制因素。“SCR 的性能在很大程度上取决于尺寸，这意味着它们没有无限的空间来进行氨喷射，”洋马美国公司的测试工程师 Shota Nomura 说道。
从测试平台到仿真
通常，SCR 开发涉及漫长的标定过程，以确保证适当的 NOx 减排，整个 SCR 标定项目可能总共需要超过 240 个工时。“有 20 多个标定图谱概述了 SCR 的控制，我们需要数据来标定这些图谱，”Muinos 解释道，“为了收集这些数据，你需要运行发动机测试台数周，标定图谱，然后验证性能。”
“Simulink 就像一个用于控制开发的沙箱。”
“没有自动化的方法来标定系统，”Nomura 说，“由于 SCR 调整的几个图谱会相互影响，性能也会受到调整的影响。为了在考虑基于测试结果的最佳平衡的同时进行调整，需要大量的由于人工调整工作。”
为了减少物理测试的时间和成本，洋马团队转向了模型在环方法，使用 Simulink® 和单独的催化剂仿真软件来为他们的 SCR 建模。“如果没有 Simulink，我们就不得不向我们的控制方案提出变更建议，提交给我们的发动机控制单元 (ECU) 供应商，让他们开发控制逻辑，让他们为控制器开发软件，然后在一个实际的测试台上进行测试，”Muinos 说，“但 Simulink 就像是一个用于控制开发的沙盒。”
利用这个沙盒，团队很快意识到他们当前的 SCR 控制方法不足以满足旨在将 NOx 排放削减至近乎零的新兴第五阶段标准。
Reinforcement Learning Toolbox 中提供的强化学习训练监视器的截图。它展示了洋马在该项目中使用的 DRL 模型在训练时的进度图。（图片所有权：洋马美国公司）
Nomura 想知道 AI（特别是深度强化学习）是否能有所帮助。“但我是一名机械工程师，”Nomura 说，“我没有太多的 AI 知识。”
由于团队已经在使用 MATLAB® 和 Simulink，Nomura 探索了来自 MathWorks 的在线资源，并使用了 MathWorks Consulting Services，看看深度强化学习是否能帮助他们确定 SCR 的最佳 DEF 喷射率。
强化学习是一种 AI，它通过从环境中获取信息来产生预期的结果，通过试错进行学习。当强化学习智能体产生预期结果时，它会获得“奖励”。
“使用强化学习背后的思维过程是，我们将使用 AI 来寻找排放测试循环的最佳喷射曲线或最佳氨存储曲线，”Muinos 说，“然后我们将研究结果并开发控制措施来通过这些曲线。”
“以前，我们没有任何方法来确定最大性能，”Nomura 说。
利用 Reinforcement Learning Toolbox™ 和 Deep Learning Toolbox™，MathWorks 顾问帮助 Nomura 从提供的不同强化学习算法中进行选择，并确定了适合洋马项目的正确算法。
“在我们与团队合作并分析了洋马建议方法的优缺点后，我们了解到深度 Q 网络 (DQN) 算法将帮助他们开发一个优秀的强化学习智能体，”MathWorks 首席技术顾问 Mohammad Muquit 说道。
Simulink 示波器截图，展示了使用洋马系统默认值（黄线）与本项目开发的 DRL 模型（蓝线）进行仿真时的 NOx 排放量对比。（图片所有权：洋马美国公司）
从经验中学习
配备了 DQN 算法后，洋马团队开始“教导”他们的深度强化学习 (DRL) 智能体寻找 SCR 性能的最佳氨喷射曲线。
通过模型输出，团队可以看到智能体建议的标定值与他们现有发动机的标定值是如何匹配的。Reinforcement Learning Toolbox 的可视化功能帮助他们理解了模型结果。
“由于没有 AI 经验，我没想到能完成一个强化学习项目……但 MathWorks Consulting Services 帮助我处理了必要的参数，并让我了解了强化学习是如何工作的。”
“我们正在比较强化学习智能体的结果与我们的标定结果，并试图理解它们为什么不同，”Muinos 说，“一旦我们充分理解了为什么强化学习智能体能产生更好的排放结果，我们就能理解该实施什么控制。它为我们的标定提供了一个更好的起点。”
据 Nomura 称，在运行了大约 30 分钟的仿真后，智能体提供了一个最佳喷射曲线，使得 NOx 减排量提高了 60%。
智能体将标定时间缩短了一半，使项目的总工时缩短了 30%。“只用了六个月——我们没想到开发周期会这么短，”Nomura 说，“这远远超出了我的预期。”
与通常的手动标定过程相比，节省的时间和物理测试的减少还带来了 41% 的成本节省。
“由于没有 AI 经验，我没想到能完成一个强化学习项目，”Nomura 说，“但 MathWorks Consulting Services 帮助我处理了必要的参数，并让我了解了强化学习是如何工作的。”
目前，AI 标定的 SCR 工具为洋马工程师在开发其发动机 SCR 时提供了一个更好的标定起点。下一步是快速控制原型。洋马团队最近购入了硬件来测试他们的建模结果。该团队计划进一步自动化这一过程。目前，DRL 智能体搜索最佳值，但人类仍需将这些值整合到 ECU 中。在未来的项目中，洋马工程师希望利用 AI 自动生成 ECU 的初始标定值，从而绕过手动调整。
MATLAB 和 Simulink 对该项目起到了重要作用，团队计划在未来的开发中继续使用它们以及其他相关的工具箱。“没有 MATLAB 或 Simulink，我们不可能走得这么远，”Muinos 说，“它们是我用过的最好的控制开发工具之一。”
