本文还研究了如何处理场景条件下的驾驶行为,这超出了反应控制的能力。除了端到端结构外,学习方法也发挥着关键作用。端到端学习可以产生合理的驾驶行为,即使在复杂的城市驾驶场景中也是如此。端到端驾驶模型中的表示学习至关重要,语义分割等辅助视觉任务可以帮助形成更具信息性的驾驶表示,尤其是在训练数据有限的情况下。简单的卷积神经网络通常只能进行反应控制,不能在特定场景中进行复杂的推理。然而,即使机器人面临着与传统计算机视觉类似的问题,但这样的成功也还没有像视觉那样彻底改变机器人,即系统的手动Pipeline设计不完善。