29 人工智能+无人机：掀起智能飞行领域革命
你好，我是独行。
无人机是现在非常火热的一个行业，除了普通民用场景外，在工业、军事等领域用途也非常广泛。比如灾害救援、环境监测、交通监控、农业、物流等。如果你关注俄乌战争的话，你会发现，无人机在战场发挥着非常大的作用，很多目标摧毁任务，根本就防不住，尤其是无人机作战群，数量大、灵活性高，具有非常强的攻击性。
2023年5月份，俄罗斯克里姆林宫遭受无人机袭击，当时我都震惊了，这东西太难防范了，而且可以短距离起飞，无需搭载人员，风险低，成本也低，是目前军事领域重点研究对象。新一代战场上，很少有肉搏、枪林弹雨的场景，取而代之的就是无人机侦察、无人机投弹等等，交战双方大量采购无人机，给无人机安装了各种各样的炸弹，各自坐在指挥室操作。
下面这个是浙大无人机群穿越森林的视频，浙大研究的无人机飞行控制算法，曾经登上Science子刊Robotics。
下面我们先看看AI+无人机的历史。
人工智能+无人机历史
我整理了一下无人机的发展历史，你可以看一下，无人机在200年前就已经存在了，早期原型是无人驾驶热气球，用于军事领域，真正有飞行器原型的大概从100多年前开始。直到2010年前后发生变化，此前无人机基本都用在军事领域，2010年开始，慢慢进入民用领域。
无人机领域的痛点
除了军事领域或者一些特定的领域，需要无人机产生额外的动作外，大部分情况下，无人机都是被用来做拍摄和监控的，也就是说，无人机其实就是一个飞行的摄像头。聊到飞行，那就绕不开以下几个问题。
电池续航
电池技术的发展相对滞后，限制了无人机的续航时间。当前大多数商用无人机的飞行时间在30分钟左右，无法满足长时间任务需求，当然军用的除外，军用无人机体型一般较大，有的能飞20个小时以上。电池问题我们简单提下，不是我们讨论的重点。
通信与控制
在远距离和复杂环境下，无人机的通信和控制稳定性是一个重大挑战。需要开发更可靠的通信技术和自主控制算法，确保无人机在各种环境下的安全运行。尤其是在一些特定场景下，比如室内、地下，无人机如何进行通信，将会是一个很大的问题。
感知与避障
虽然AI技术提升了无人机的自主避障能力，但在复杂和动态环境中，感知和避障技术仍需进一步改进，确保无人机能够应对各种突发情况。比如在室内一些施工场景下，如果我们需要通过无人机对施工现场进行监督和管理，那么在室内进行精确路径规划和避障，也将成为一个非常有挑战的问题。
无人机自主性六个层级
说起无人机，一定避不开的话题就是自主操作性，“无人”所包含的含义，不仅仅是不载人，随着计算机技术尤其是机器学习技术的演进，“无人”还有另一层含义，就是无人机的自主操作性，也就是自动化程度。有人把无人机自主性控制分为6个层级，我们依次来看一下。
第0级：无自动化
飞行员完全掌控每一个动作，无人机始终100%手动控制，一般用于娱乐场景。
第1级：飞行员协助
飞行员仍可控制无人机的整体运行和安全，但是，无人机可以在一段有限的时间内接管至少一项重要功能。它无法持续控制飞行器，并且无法同时控制飞行速度和飞行方向，但它可以为导航提供支持或保持高度和位置。比如业余爱好者无人机由 GNSS（全球导航卫星系统） 支持以稳定飞行，而航向、高度和速度方面的所有输入都是通过手动输入完成的。在这个级别上，可以使用感知和避免功能来提醒飞行员无人机接近障碍物。一般应用在巡检与维修、定位与检测、摄影与摄像、防护与安防、监控等场景。
第2级：部分自动化
飞行员仍需负责飞行器的安全操作，并随时准备在发生意外时接管无人机的控制。然而，在某些情况下，无人机能够接管航向、高度和速度的控制。飞行员仍需全权负责，包括监控空域、飞行条件和应对紧急情况。目前，大多数制造商都制造这种级别的无人机，平台可以协助导航功能，并允许飞行员脱离部分任务。比如测绘和勘测任务，无人机会按照预先设定好的飞行路径，起飞后自动沿着这些路径飞行。
第3级：条件自动化
和第2级一样，无人机可以自行飞行，但飞行员仍必须保持注意力并随时准备接管。如果需要干预，无人机会通知飞行员，因此飞行员是后备系统。此级别意味着无人机可以在“给定某些条件”的情况下执行所有功能。当机载传感器检测到障碍物时，无人机将停止飞行并发出物体靠近飞行员的警报，然后，飞行员手动修正航向/高度，然后无人机继续沿着预先设定的路径飞行。典型应用场景有测绘、测量等。
第4级：高度自动化
无人机可以由人控制，但并不总是这样。在适当的情况下，它可以全程自主飞行。无人机应该有备用系统，这样如果一个系统发生故障，它仍然可以运行。它的行为取决于固定的内置功能或一组规定系统行为的固定规则。在这里，感知和避免发展成为感知和导航。当遇到障碍物时，它会感知障碍物，并通过改变航向或高度来主动避免接触。
第5级：完全自动化
无人机在任何情况下都可以自行控制，无需人工干预。这包括在任何条件下所有飞行任务的全程自动化。目前尚无此类无人机的样机，而且目前尚未投入生产。人工智能技术的发展，有望实现完全自动化控制无人机，当无人机具备大脑，可以自我学习，自我更新后，那么完全自动化绝对有可能。
AI大模型如何赋能无人机
飞行控制：路径规划与导航
无人机飞行需要大量的传感器，如摄像头、GPS（卫星导航）、IMUO（惯性传感器）、LiDAR（高精度激光雷达）等，用来进行障碍物识别、规划路径、动态避障。将轻量化大模型部署在无人机终端，能够分析并理解大量的环境数据，将有助于提高无人机的决策效率。
北京航空航天大学智能无人机团队周尧明教授等人于2023年发表的论文《Agent as Cerebrum, Controller as Cerebellum: Implementing an Embodied LMM-based Agent on Drones》（代理作为大脑，控制器作为小脑：在无人机上实现基于 LMM 的具身代理），提出了一种基于多模态大模型的具身智能体架构，已被应用于无人机的操控。研究团队利用大模型对多模态数据的理解能力，将真实物理世界的照片、声音、传感器数据等多源信息融合成智能体的感知，将对于真实世界的执行器的操作作为智能体的行为。感兴趣的话，你可以去阅读下原论文。
业务应用：图像和视频处理
作为一个飞行的拍摄器，无人机配备高清摄像头和其他视觉传感器，可以采集大量的多模态数据，AI大模型可以处理这些数据，进行图像识别、目标检测和跟踪。比如，农业无人机可以识别作物健康状况，救援无人机可以在灾区中找到幸存者；在工程建设领域，无人机可以对工程质量、施工安全、施工进度等等进行识别，进行辅助施工管理。
下面我们详细介绍一下无人机在施工场景的应用，来说明大模型是如何赋能工程建设行业的，你可以先看下下面这张图。
类似在这样的施工图像中，当无人机将图像传回云端后，大模型可以识别图片中风险点，比如塔吊附近有没有出现人、工地现场有没有人员聚集、工地现场物品有没有乱摆放、路面有没有积水等等。
使用传统CV小模型处理的话，有一定的局限，因为CV小模型是目标检测类型的，每个小模型只能检测一种场景，举个例子，如果我们要处理人员聚集和物品摆放，那么就需要两个模型，这样的话，如果我们需要解决多个问题，那么就需要部署多个小模型。引入CV大模型后，可以通过一个大模型，解决所有问题，据我所知，目前的CV大模型在这方面的能力，可以至少同时处理上百种场景。
无人机引发的社会问题
安全风险
无人机“黑飞”事件频发，干扰航空秩序，对重要地域的安全保卫、治安管理等构成挑战。这些事件不仅反映出群众安全意识淡薄、飞行器安全知识欠缺的问题，还暴露出民用无人机实名认证未全覆盖、监管条例不完善、违法打击力度不强、禁飞区域防护机制不健全等问题。此外，无人机在飞行过程中可能因技术故障或操作不当而坠落，造成地面第三人人身财产损害，对人身权、财产权构成威胁。
侵犯隐私
无人机配备的摄像头和探测器，可以收集图像和视频等信息，甚至是私人住宅和个人信息，能够在未经同意的情况下探测这些信息并生成新内容，可能会大规模侵犯个人隐私。
数据安全风险
无人机收集和生成的数据可能成为网络攻击的目标，如果这些数据落入坏人之手，可能会被滥用。详细的房产图像可能会帮助窃贼，而个人数据滥用可能会导致身份盗窃。
不公平歧视
与其他人工智能一样，如果使用有偏见的数据进行训练，生成式人工智能也会产生偏见。这可能会导致歧视行为，例如由于人工智能系统存在偏见，无人机会不公平地监控某些区域或群体。解决训练数据中的偏见是确保公平和合乎道德的无人机操作的关键。
问责机制不完善
如果人工智能无人机造成损害，很难确定谁是罪魁祸首。责任可能落在无人机制造商、人工智能程序员、无人机操作员，甚至人工智能系统本身身上。这种不明确的责任可能会使解决与无人机处理和监管相关的法律和道德问题变得棘手。
小结
目前无人机正在逐渐渗透到各个行业，就像前面说的，无人机实际上大部分时候是作为一个飞行的摄像头存在的，既然是摄像头，那么其实就是一个数据采集终端，也有人称为动态传感器。只不过，这个摄像头比较特别，位置不固定，可以用在一些特殊的场景，比如可以任意角度、高度拍摄等等，而作为摄像头，其实从拍摄角度看，技术方面基本已经很成熟了，至少目前的应用没什么问题，所以可以研究的空间往往聚焦在后期图像及视频的处理上。
如何将无人机采集到的视频放到实际应用场景，是当前特别火热的问题，比如无人机环境检测、无人机工地监管、无人机送快递、喷洒农药等。
思考题
我们知道，无人机很多时候是将数据传回到服务端进行处理，那么问题来了，当无人机处于弱网环境下，怎么进行数据处理会比较好？你可以思考一下，欢迎你把想法打在评论区，我们一起讨论！
- 石云升 👍（1） 💬（1）
先存本地？等信号好了在传。另外，还可以根据网络条件动态调整视频质量和分辨率。
2024-09-08 - Yao 👍（0） 💬（1）
本地服务器输出识别结果比较好
2024-10-21 - 福禄妹妹 👍（2） 💬（0）
无人机使用npu之类的边缘计算。类似于只能ipc
2024-11-25