“慧眼神瞳”有多厉害？揭秘顺丰智慧物流背后的关键技术

一 物流行业发展新趋势-智慧物流

物流行业已然成为支撑国家经济发展的基础性产业，是整个社会经济运行的基础，是“供应链四流循环——商流、物流、资金流、数据流”之关键一环。作为相对传统的物流行业，随着“互联网+物联网”的快速发展，在业务的过程中沉淀了大量的数据，如何将“数据”转化为“数据资产”，推动物流行业数字化转型与数据价值实现是未来的发展方向。

“感知设备+物联网+边缘计算+云原生+AI大数据”成为整个物流行业进行数字化降本增效、提高物流企业竞争力的新技术路径，高算力、低延迟、大规模硬件、端到端智能等技术壁垒在行业竞争中突显优势。

在专业化的物流供应链一体化能力建设中，顺丰率先通过运用人工智能与边缘计算实现了智能派单、智能调度、可视化跟踪、大数据分析、云平台共享、视觉自动化管控、智慧园区等数字化能力，同时也奠定了顺丰强大的数字化底盘。

二 智慧物流的痛点与思考

在物流行业中，人、车、货、场以及日益增多的自动化设备，是影响业务生产的几大要素。这些要素叠加另一些维度，如效率、质量、安全等，组合成了我们在业务的实际操作中的关注重点，比如人的效能、车的装载率、排班效率、件的时效、件在流转中的质量等。流程长节点多、场景多而且复杂，如何对这些不同要素及场景进行精细化的经营管理，是整个业务过程中的重要挑战与痛点。

由物流行业快速发展引发的行业痛点给人工智能技术带来了新的蓝海，同时，人工智能技术也给物流行业带来了新的自动化机会，这双向的力量碰撞产生了奇妙的化学反应，为物流柔性自动化生产创造了条件，以解决包裹在预分拨、码垛、接驳、装车、分拨中心、配送站点等环节中存在的业务和技术挑战。

在顺丰持续提升服务质量的战略背景下，经过多年的行业深耕与洞察，自主研发建立了AIoT视觉感知应用平台:“慧眼神瞳”，其综合应用IoT、边缘计算和人工智能等前沿技术，极具扩展性，鲁棒性。模块化容器化的设计，可根据需求灵活调整配置、实现业务变化与优化，高效迭代作业流程；能够配合监控摄像机、分拣线工业相机等IoT智能设备进行作业场景数字化建模，全面分析人、货、车、场地、设备等关键生产要素，覆盖端到端全业务场景的实时业务数据流，通过业务风险分析、自动化决策等数字化手段，有效保障了运营质量、管控业务风险、减少运营成本、提高管理效能与服务质量。

三 顺丰智慧物流背后的关键技术

• 慧眼神瞳 - 多模态业务场景SaaS化平台

如今千行百业的智能应用和数据量激增，终端设备对海量数据的实时处理需求高速增长，传统云端处理的方案存在网络带宽与业务响应不及时的瓶颈，这就驱动边缘计算成为大数据时代技术的重要落地方案；为满足顺丰全网2万+自营网点、15万+合作网点的日常业务运营与服务质量管控的要求，急需一套基于边缘计算模式的云边端一体化架构解决方案，采集覆盖全网的数十万感知设备的数据，实时对各场景的影响要素进行分析，形成可决策的数字化能力，助力顺丰集团的数智化管理与精细运营战略目标达成。

慧眼神瞳综合运用计算机视觉与边缘计算技术，通过构建覆盖全网的AIoT感知平台，以数十万感知触点实时解析各场景关键生产要素，形成覆盖全网的实时业务动态数据，为行业客户提供数智化管理与运营精细化升级的解决方案。目前业务场景覆盖：安全管理、质量管理、经营管理、风险管控等几个方面。

接下来对核心技术特性进行介绍。

• 数据驱动的边缘计算平台

三位一体：将云端、边缘端、设备端三方进行数据流联通，实现云端构建、边缘部署、设备控制，有效降低全链路协同成本。

统一集中化：统一标准实现边缘设备集中化管理，对资源进行充分利用，减少多样化的运维成本；边缘设备智能预警，避免设备故障发生。

自动化流水线部署：提供从代码到边缘上线的持续集成，持续部署的解决方案，助力研发的快速迭代与验证。

整个架构方案通过标准化的“物模型”协议，对设备端采集的数据加以智能化处理和分析，通过边缘计算技术，减少了云端处理延迟，提升了整体运算速度，并对全场景下的数据进行多维感知、数据实时交互，实现事前检测、事中预警、事后决策等工作，最终达到云边端协同模式下的智能化协作。

• 统一的云边端一体化架构优势

边缘感知：通过对多种物联网协议与视频协议进行数据标准化、结构化、网络化，有效降低网络带宽的压力、边缘AI计算量、存储压力，提升整体分析效率，满足业务实时响应等要求。

边缘计算：采用完全基于分布式容器化的微服务架构，极大提高系统可用性，可扩展性；支持不同加速芯片推理框架，适应多模型并/串联的组合结构，面对高流量并发，自适应动态batch有效提高吞吐并减少业务响应时长。

边缘安全：采用增强隐私计算技术确保AI算法关键部分不被窥探，机器身份管理确保AI算法指定运行，云边端通信鉴权机制确保上下行网络链路安全可靠。

全链路能力：基于云边端完整的治理与自动化构建能力，在服务构建、数据源管理、模型训练、部署加速、稳定性保障、监控跟踪等基础能力为一体，一键云边端协同发布，为各种业务场景提供完整的通用解决方案。

再生产能力：基于微服务架构打造业务领域的服务能力，采用K8S的服务编排机制以实现对业务的二次重新组合，快速满足适应新的行业和业务场景。

• 追求极致AI性能 

每天超过2000万+的快递需要通过视觉算法进行全链路风险识别，推理机器的处理性能遇到巨大挑战，为了避免成本飙升，从两个方向入手：一是优化AI推理过程中的图片处理效率和算法推理效率；二是提高硬件资源的利用率。

在顺丰场景中，进行图像AI算法推理时，需要处理大量高清相机生成的大图片，内存的不足成为显著瓶颈。当一张分辨率较大的图片解码后，可能需要上百兆字节，甚至二三百兆，由于内存资源受限，无法完全发挥多核心的并发处理性能。为解决内存瓶颈的问题，经调研某些场景并不需要彩色图片，只要黑白图片即可，即把三通道的彩色图片直接解码成单通道的灰度图，这样不仅可以节省2/3的内存空间，也可以大幅减少解码所需时长和后续图片副本的复制时间，经测试，性能相比于解码成彩色图片都提升了200%左右。避免频繁向系统申请和释放内存的额外开销，使用内存池来进行优化，以空间换时间的方式，消除内存切换导致的性能瓶颈，经过测试，速度有效提升330%。

在AI算法推理效率优化方面，顺丰使用TensorRT技术进行推理加速。TensorRT是Nvidia针对自家平台开发的一个神经网络前向推理加速的C++库，旨在极致优化 GPU 资源使用的深度学习推理计算框架，其可以为深度学习应用提供低延迟、高吞吐率的部署推理，除此之外，TensorRT在异构架构中的兼容性较强，已经成为行业最成熟的性能提升方案。

除了对图片的处理本身做优化可以增加系统的性能以外，充分的利用系统的硬件资源也可以对系统的性能有所提升。当在处理大量较小图片时，可以尽可能的使用CPU做图片相关的处理，即让GPU尽量多的用于算法推理，提高整个系统的吞吐率；而当图片都比较大时，系统的瓶颈会更偏向于图片处理本身，导致GPU不能充分利用，在这种场景下，可以把一部分图片处理放到CPU上完成，这样子可以充分利用CPU的资源，让整个系统的AI算法推理吐吞率达到最平衡与最优。

顺丰在AI效能提升上面做了很多尝试，包括技术升级，业务逻辑优化，设备性能探索，降精度升速度等优化方案，使得云端与边缘及计算的设备成本达到最低。在未来我们也尝试基于此方案来推动云计算、元宇宙等创新方向的优化提升。

四 AI持续助力顺丰自动化作业能力

物流改变生活，科技改变物流，AI对物流产生了巨大的影响。

依托顺丰物流场景海量数据的沉淀，打造了丰富的产品矩阵，覆盖了物流的各个环节。让计算机看懂物流，在满足顺丰业务需要的同时，也为泛物流行业客户及合作伙伴提供先进可靠的一站式解决方案。

• AI助力业务质量提升

皮带机堵转会造成流水线瘫痪，影响分拣时效，同时堵转也会导致货物被挤压、变形、损坏等，为了对皮带机堵转现象进行实时监控，研发了皮带机堵转检测子系统。该子系统通过分析摄像头监控画面，实时预警堵转事件的发生，并精准定位堵转区间，实时上报并进行消息推送，确保堵转事件的快速消除，2021年初完成在顺丰全国范围网点和中转场的推广落地，为业务带来显著的破损率下降。

包裹堵转场景

该子系统独创特征融合算法，融合各图片的时间空间信息，有效区分物体运动和静止区域，使用tensor-RT架构进行加速，与传统多目标跟踪算法(MOT)相比，该方案简单易用，兼具成本、效率与准确率优势。

• AI助力经营改善

在快递运输的整个过程中，需要经过多个分拣环节进行中转或分发，通过扫描设备准确识别包裹与运单条码的匹配关系才能进行精准分发。传统的扫描设备识别运单条码的准确率偏低，导致大量快递无法自动分派，同时也可能被分派到错误的目的地，对生鲜类产品，容易带来过期损坏等投诉问题，运输时效与配送成本均面临严重的影响。

AI补码产品利用视觉OCR识别技术、视觉效果增强等技术，对扫描设备无法识别或识别错误的运单条码进行二次识别与矫正，其中OCR识别采用超大规模深度预训练模型，通过数千万文字图片进行训练后，结合特征金字塔方案对图片进行多尺度的特征变换，使其对图片中不同尺寸的字体均能够友好识别，识别准确率超过99.9%。在运输过程中由于包裹摩擦等因素经常导致条形码破损或模糊，视觉增强技术通过大量图像样本训练，识别条码中关键像素点进行重新图像组织，最大限度还原原始条形码成像，结合视觉OCR识别技术整体准确率超过99.99%，性能和稳定性达到业界最高水平，在满足顺丰内部需求的同时，也服务于行业多家物流公司。

• AI助力业务风控

寄递安全关系到快递业的健康发展，为了满足国家对寄递安全监管的要求，研发了智慧安检系统。智慧安检基于人工智能与物联网技术对传统的安检机进行升级改造，使之具备智能识别违禁品，并利用自动化设备实现对违禁包裹的自动拦截及分拣，不仅提升了安检的效率、准确率、安检设备的利用率，还降低了人力成本投入。

经过多年对违禁品图像的研究，顺丰积累了数百万违禁品的数据样本，通过超大规模深度学习技术，实现了上千种违禁品的准确识别，在全行业中遥遥领先。

安检机图片中的物体目标数量比较多，而且存在严重的遮挡，为了解决小目标及目标遮挡物的问题，通过anchor精调，FPN网络，损失函数约束等多种优化方式实现了对极小物体的精准识别。

为了解决正负样本不均衡的问题，引入OHEM网络在线挖掘困难样本、改善损失函数角度、结合GHM损失函数等方案，通过这些优化措施，有效解决了样本倾斜所导致的错误发生，提升目标检测准确率5%以上。

• 数据离线与在线相融的自动化机器学习平台

为了让AI能适应更多的场景和更好的服务业务，让AI具备自我学习的能力， 顺丰打造了慧眼神瞳中的AutoML自动机器学习平台。

该平台既能使AI可以自主学习，又能解决在安全方面满足客户数据保密性的要求。用户通过AutoML平台，简易操作既可以执行全自动的优化训练任务，生成慧眼神瞳的产品服务包，自动化部署到实际生产环境中，让AI算法的研发、构建、测试、发布流程缩减90%以上的精力和成本。同时用户在AutoML平台上可以积累适用于自身业务环境需要的训练数据，持续沉淀与管理高价值的数据资产。

通过对各种IoT设备、内部系统、三方系统等数据源的自动化采集，实现训练数据集的自动化生成。顺丰原创了自动标注技术，通过无监督和半监督等方式，对大量原始数据样本进行预标注，极大减少了人工标注训练样本的成本。

创新全可视化生成算法任务的工具链，不仅减少了AI算法人员的编码成本，同时也能对新老算法的效果进行监控和评估。AI模型完成训练之后，自动流水线的方式进行自动化测试验证，生成新老模型对比指标，通过人工一键操作，全自动化流转进云端业务系统中进行部署，此外还支持自动监控模型异常波动、自动版本回滚等保证功能，让研发减少了编码成本，提升产品迭代效率，降低整个开发过程中的风险。

五 持续创新，深耕AI在物流行业的应用价值

物流作为一个庞大的综合性服务产业，全业务流程中到处都存在智能优化的空间，人工智能在物流领域的应用可分为两大类：一是以AI技术赋能的智能设备，例如搬运机器人、无人配送车、无人机、智能客服机器人等；另外一类是通过智能算法来提高物流效率与降低业务风险，例如装载率识别、设备智能巡检、风险自动检测等。

在顺丰全网的日常运营中，慧眼神瞳平台共打造50多种AI应用，管控每天3千万+快递在运输、中转、配送中的各类风险。违规检测类应用共覆盖全国近17万网点，提升44万+收派员的专业化水平，保障服务质量并提高客户体验。

虽然目前物流+AI还是以辅助管理、提升效率为主，利用计算机视觉、NLP、智能语音等技术形成众多降本增效的功能矩阵，但未来会通过不断的业务场景探索与实践，从客户下单->自动分配订单->仓储自动分拣系统->运输全程监控->到无人车/无人机配送上门，逐渐把众多AI功能汇聚成一整套端到端的智慧营运方案，最大程度上实现物流全链路的无人化、智能化。  

人工智能与边缘计算虽然已被公认为是传统行业产业升级的关键技术，但要稳步推进，仍然面临一系列的挑战。在物流行业的落地中，也碰到很多问题，例如对数据质量要求高、落地周期长、成本高等问题，降低新技术的应用门槛是首要问题。

此外，人工智能行业一直存在一个普遍矛盾：“技术成本和应用带来的价值不匹配”，早期人工智能在物流上的应用，在技术不成熟的阶段经常发现还不如用人工更节约成本，大多数技术在对业务没有充分融合的情况下，纯粹的技术驱动并不等同于业务最优方案。

因此，人工智能要深入融入物流每一个具体的业务场景中，与业务结果保持紧密关联，才能发挥更大的价值；同时，要在规模化、低成本、易用性强、轻能耗等方面坚持长期的突破与创新，才能抓住未来5-10年人工智能在物流行业的关键趋势。

随着人工智能等新技术的不断成熟和大规模的工业应用的涌现，物流行业将从一个劳动力密集型的产业转变为一个知识密集型的产业，顺丰将更加注重专业人才、技术、专利等的积累，与客户保持密切陪伴，坚持创新与探索，持续赋能与助力整个物流行业的科技升级。