目前，做为智能硬件的一个爆炸点，国内外各大科技公司以及数以千计的创业公司都在积极开发多旋翼无人机技术，如 Intel、Qualcomm、Google、Amazon;无人机开源运动使得无人 机技术走进千家万户，也孕育了一大批无人机创业公司。传统的无人机与飞机公司，例如 Aero Labs、Microdrone、Lockheed Martin等不断推出多款新型多旋翼无人机。做为智能硬件的全球大本营之一，深圳的无人机公司已超过 200 家，其中包括著名的大疆创新。
无人机最主要的三大研究趋势包括:智能传感、智能通信和智能人机界面。(1)智能传感的 主要应用包括:主动避障、目标辨识与追踪、以及定点降落。主要解决方案包括利用图像与超声传感器来感知障碍、追踪目标和协助定位，以及利用地面传感器来实现无人机低空定位。(2)智能通信的主要应用包括:长距离高清图传、无人机与传感器网络/互联网通信、 以及飞行器之间的通信。(3)智能人机人机界面的研究包括使用可穿戴设备以及虚拟现实设备来控制无人机、云台以及各类传感器，从而实现第一视角感受等人机一体技术。光电/红外复合载荷是集成各种传感器为一体的技术，相当于战斗机的光电吊舱。目前，国际上封闭式智能云台技术仍对中国禁运(澳大利亚 UAVVision 除外);国内的研究仍是空白。
光电/红外复合载荷是航行器目标追踪、分析以及锁定的关键部件，是航行器实现任务智能化和无人自主航行的主体。过去，该类产品的功能仅仅是给无人平台的操作人员提供视野和为后处理提供图像。但是最近几年，随着无人平台“智能化”、“服务化”的大潮，市场也对复合载荷的能力提出了更高的要求。这些要求体现在很多方面，例如，不断增长的图像处理 以及机器视觉应用要求图像要有高稳定度，不能有抖动;无人系统的小型化要求每个组成部件的功耗利用率尽可能地高，每个部件都要能够做到其性能允许的最多功能;智能化浪潮所引起的二次开发需要高层次的信息抽象，以缩短开发周期。
目前，该类产品国内外技术差距较大，高性能产品全部由SightLine、Trillium、Hood Tech、 Controp 等几家国外公司垄断，并有严格的出口管制。该类产品的国内外差距主要表现在如下几个方面:
1. 缺少工业级的数字图像稳定系统;
2. 信息接口原始，生态环境封闭。
本项目拟解决的关键问题及对应的技术路线如下:
1)开发载荷的多光谱计算机视觉能力。红外光谱可以提供额外的信息，实现单可见光探测 无法实现的生命探测、隐蔽目标探测。红外和可见光的信息叠加，可以帮助无人平台更好地实现目标辨识和环境理解。
本部份主要涉及底层的机器视觉与图像处理，包括图像的数字稳定、去噪、增强。对于红外 图像，还会进行对比度增强等红外特有的处理，为后处理提供高质量的稳定视频流。本部份需要
1. 试制或采购高分辨率的全局快门相机及高帧率红外相机;
2. 开发基于 FPGA 和 DSP 的处理管线及相应算法;
3. 开发图像的实时 H.264 压缩及以太网传输系统;
4. 开发地面站或机载计算机的图像后处理系统。
2)开发高振动情况下的高精度云台运动控制系统。该系统可以使载荷在严苛的工作环境下 获取稳定、高质量的图像信息，进一步提高载荷的通用性和稳定性。
本部份主要涉及高精度的姿态解算与控制，包括高性能的旋转轴驱动系统和整体的惯性导航系统。这部份需要:
1. 采购高性能的陀螺仪和加速计，并需要
2. 开发优化姿态融合与控制算法，目标将机械部份的抖动降到最低。作为配套，我们还将寻找供应商设计一个三轴充分解耦的云台框架，进一步优化整体性能。
3)开发适应复杂环境的高性能目标分析算法，为外围系统提供目标的各项运动、几何参数， 实现智能目标识别处理。
这部份包括目标的姿态估计、航迹预测、特征提取等。这部份系统从(1)输出的高稳定视频流出发，使用 FPGA 与 ARM 平台进行可见光/红外视频信息的融合与信息提取。这部份需要:
1. 基于深度神经网络开发高鲁棒性的目标识别算法
2. 开发适应城市环境的目标追踪算法
项目最终方案采用 FPGA+ARM+SoC 模式，使用华为 Hi3519V100 芯片作为视频信号处理器 和编码器，Xilinx Zynq MPSoC作为图像处理加速器。云台运动控制采用三片STM32F4组 成的 FOC 矢量控制系统。系统与地面通信采用MAVLink 协议，运行在 Microhard 远距离网 络上，通信带宽为 10Mbps，无干扰通信距离可达 10km。
项目产品主要性能
1. 视频参数:4K30帧每秒
2. 红外参数:320x24030帧每秒 l 视频传输距离:1km
3. 瞄准线稳定精度:0.05度
4. 追踪系统可在丢失目标后重新找回
5. 云台可360度连续旋转 产品主要性能介绍
本产品的主要亮点是其目标追踪及分析能力。与现有大部分国产系统不同，我们的追踪算法 可以实现在丢失目标后自动找回目标。这在城市环境中十分重要。另外，我们的算法对目标大小变化不敏感，可以保证在变焦过程中仍能追踪目标。经过测试，我们的算法在大部分数 据集上优于美国 SightLine 公司的追踪算法。在高遮挡环境下，例如城市或森林，我们的优势极其显著。(见图 1)
图 1 算法对于目标变化的健壮性
图 2 算法与现有最好算法的比较，曲线最终值较低为好
本项目所提出的算法已发表于 IEEE MFI 2016 多传感器融合会议上，并获得参会的德国 BMW 公司代表、Franhofer 公司代表及德国卡尔斯鲁厄工业大学教授等一致好评。鉴于保密 需求，部分非核心算法已经写成专利(201610875340.8)，现在正在审核。
本产品的机械设计中规中矩，采取了和现有系统同等级的防震措施，各类型指标均达到了行业平均水平，但在结构强度及可靠性方面仍需要提高。