高德技术-2019年刊合辑.pdf

1 2 序 春节渐近，年味逾浓。回首 2019 年，作为首个日活过亿的国民出行平台，高德地图 to C 和 to B 的用户数都再攀新高。老业务稳健增长，新业务突飞猛进。在背后支撑和驱动业务快速发展的，正是数千名日夜奋战的高德技术人。坚持技术高德，通过有温度的科技，为用户的出行生活带来改变。2019 年是高德技术人脚踏实地“加油干事”的一年。人工智能技术在高德地图全面落地，在视觉、搜索、导航、定位等业务场景发挥了越来越大的作用；客户端&移动、汽车技术、服务架构、数据研发、质量等技术领域，也实现了深化、融合、智能、创新和突破，为用户提供更准确、更高效的地图服务和交互体验。视觉技术：快速发展和突破，不仅使自动化地图制作的质量和效率提升到了崭新水平，还打造了业界最好的自动化高精地图制作系统。积极探索新产品形态，开发和发布了全新体验的高德 AR 导航系统，在普通硬件上实现了精准直观的实景导航以及多项实用的辅助驾驶功能。搜索推荐：聚焦用户。利用海量的时空出行及开放平台数据，建模用户的出行习惯，让目的地预测、需求预测更准确，搜索、推荐、语音在不同场景下更有人性化及精准。引入刻画真实世界的评价体系POI 指数，完善 POI 深度知识图谱，初步建立吃住购行的百科全书，提升用户生活决策效率。机器学习：强化数据和服务中台的能力建设，深耕数据和算法在业务的应用。构建地图领域特有的空间+时序深度模型，实现了数据质量和更新效率的绝对领先；出行服务领域，深度结合时空信息，引入高时效的交通事件，提升路况预测准确性；规划算法上利用多元化的出行数据及深度学习算法，开拓建成了全新的技术体系，使得路线规划具备了基于“人、时空、事件”的场景定制化能力。定位技术：强化能力中台的角色和技术驱动的解题思路，在场景化的网络定位、DR 位置推算、GNSS 的质量识别等领域不断提升能力建设。前端&移动：全面结合阿里经济体资源，打造高德独有的客户端分层架构，解决业务快速落地，重点强化云与端配合框架，端容器能力增强，共性业务有效识别。汽车技术：深化工程服务能力，通过灵活高效的更新能力实现需求的快速迭代，攻克车载复杂的软/硬件环境。AutoSDK 对外开放全面启动，开启与行业共享、共创的新形态。汽车新业务领域持续探索，赋能车厂。在 EHP 高精地图应用、智能硬件等领域摸索出合适的打法，开始体系化建设汽车相关领域的创新和专业布局。3 服务架构：在系统性能、工程效能、服务稳定性等方面开展架构升级，为业务的持续发展夯实基础。同时，共享出行业务聚合了全国各平台的出行运力，基于亿级活跃用户的位置及交通实时离线大数据联动，提供智能最优的全国运力调度，为国民提供智能便捷的出行服务。地图数据研发：打造在线化、自动化、智能化的地图数据生产平台。数据驱动的生产管理能力已初见雏形。POI 数据，围绕生态化的创新模式，打通数据与用户和商家的直接关系，让 POI 变成“活”数据。高精地图，实现生产平台和高精采集车从零到一，场景从高速到普通路逐步覆盖，数据精度水平业界最高。质量：坚持数据驱动、技术赋能的质量理念，实现了绝大部分测试工作平台化和自动化，全面向智能化前进。完成了线上性能数据采集、Metrics 监控、智能指标、全链路回放等多项技术的突破和落地。这本书作为 2019 年高德技术的结晶，集合了全年度的重要技术文章，总计 45 篇，涵盖了人工智能、前端&移动、汽车工程、架构、数据、质量技术 6 个篇章，约 400 页。大家在阅读时如果发现内容中有 BUG，或者希望对书中的技术问题深入探讨，或者有更好的建议想要交流，欢迎扫描文末二维码，及时通过高德技术微信公众号与我们联系。如果这本书对你有帮助，欢迎分享给身边感兴趣的同事、朋友，一起切磋，共同成长。衷心感谢大家一直以来的支持和陪伴！未来，我们希望与业界展开更多技术分享和交流，推动交通出行科技的进一步发展。凡是过往，皆为序章。2020，积蓄能量，一起冲！最后，提前祝大家，新春快乐，阖家幸福。4 高德技术微信公众号（amap_tech）分享来自于高德技术的原创文章，发布技术活动、组织文化、热招岗位信息，和技术圈小伙伴一起学习成长。关注公众号回复“年刊”获取电子书 阿里云开发者社区 访问开发者社区，扫码领取更多免费电子书 阿里技术微信公众号（ali_tech）关注阿里技术，扫码关注阿里技术获取更多资讯 5 目录 人工智能篇.8 机器学习在高德起点抓路中的应用实践.9 深度学习在高德驾车导航历史速度预测中的探索与实践.15 机器学习在高德搜索建议中的应用优化实践.23 地图 POI 类别标签体系建设实践.29 地理文本处理技术在高德的演进(上).40 地理文本处理技术在高德的演进(下).48 机器学习在高德用户反馈信息处理中的实践.57 高德网络定位之“移动 WiFi 识别”.65 车载多传感器融合定位方案：GPS+IMU+MM.71 深度学习在道路封闭挖掘方案的探索与实践.84 深度学习在商户挂牌语义理解的实践.91 高德在提升定位精度方面的探索和实践.97 高德网络定位算法的演进.105 视觉智能在高德地图的应用.111 自动驾驶中高精地图的大规模生产：视觉惯导技术在高德的应用.117 深度学习在交通标志检测与精细分类中的应用.123 车道线检测在 AR 导航中的应用与挑战.130 高精地图中地面标识识别技术历程与实践.136 基于深度学习的图像分割在高德的实践.147 前端&移动篇.154 6 高德客户端及引擎技术架构演进与思考.155 高德地图：崩溃率从万分之 8 降到十万分之 8 的架构奥秘.160 Android Native 内存泄漏系统化解决方案.171 字节码技术在模块依赖分析中的应用.179 离屏渲染在车载导航中的应用.185 高德引擎构建及持续集成技术演进之路.192 基于 LLVM 的源码级依赖分析方案的设计与实现.204 高德 JS 依赖分析工程及关键原理.212 高德 APP 全链路源码依赖分析工程.219 前端内存优化的探索与实践.225 汽车工程篇.239 NDS 中车道连接关系的制作方法.240 云控平台的双向音频解决方案.245 IoT 时代：Wi-Fi“配网”技术剖析总结.254 车联网服务 non-RESTful 架构改造实践.270 车载导航应用中基于 Sketch UI 主题定制方案的实现.276 UI 自动化技术在高德的实践.283 地图数据赋能 ADAS 的探索与实践.290 车联技术在高德的演进和实践.303 架构篇.308 高德亿级流量接入层服务的演化之路.309 高德服务单元化方案和架构实践.316 7 系统重构的道与术.324 数据篇.330 漫话|地图数据处理之道路匹配篇.331 系统性能提升利刃 缓存技术使用的实践与思考.339 高德地图数据序列化的探索与实践.352 质量篇.356 高德全链路压测平台 TestPG 的架构与实践.357 持续交付体系在高德的实践历程.372 8 人工智能篇 机器学习在高德起点抓路中的应用实践 9 机器学习在高德起点抓路中的应用实践 作者：安宁 导读 高德地图作为中国领先的出行领域解决方案提供商，导航是其核心用户场景。路线规划作为导航的前提，是根据起点、终点以及路径策略设置，为用户量身定制出行方案。起点抓路，作为路线规划的初始必备环节，其准确率对于路线规划质量及用户体验至关重要。本文将介绍高德地图针对起点抓路准确率的提升，尤其是在引入机器学习算法模型方面所进行的一些探索与实践。什么是起点抓路 首先，我们来简单介绍一下什么是起点抓路。起点抓路是指针对用户发起的路线规划请求，通过获取到的用户定位信息，将其起点位置绑定至实际所在的道路。从高德地图 App 可以看到，用户进行路线规划时选择起点的方式有以下三种：1.手动选点（用户在地图上手动标注所处位置）。2.POI 选点（Point of Interest，兴趣点，在地理信息系统中可以是商铺、小区、公交站等地机器学习在高德起点抓路中的应用实践 10 理位置标注信息）。3.自动定位（通过 GPS、基站或 WiFi 等方式自动定位所在位置）。机器学习在高德起点抓路中的应用实践 11 三种方式中，用户手动选点及 POI 选点这两种方式的位置信息相对准确，起点抓路准确率相对较高。而自动定位起点的方式，由于受 GPS、基站、网络定位精度影响，定位坐标易发生漂移，定位设备抓取的位置与用户实际所处道路可能相差几米、几十米甚至几百米。如何在有限信息下，将用户准确定位到真实所在道路，就是我们所要解决的主要问题。为什么要引入机器学习 引入机器学习之前，起点抓路对候选道路的排序采用了人工规则。核心思路是：以距离为主要特征，结合角度、速度等特征，加权计算得分，进而影响排序，人工规则中所涉及到的权重及阈值等是经综合实战经验人工拍定而成。随着高德地图业务的不断增长，规划请求数量及场景的增多，人工规则的局限性越来越明显，具体表现在以下方面：即使包含了众多经验在内，人工设定的阈值、权重仍不够完善，易发生偏移或存在盲区是不可改变的事实。策略维护方面，面对上游数据的更新，新特征无法用最快速度加入到策略中。人工规则拍定对经验要求较高，对于人员的更迭，很难做出最敏捷的响应。在大数据和人工智能时代，利用数据的力量代替部分人力工作，实现流程的自动化，提高工作效率是必然趋势。因此，基于起点抓路人工规则的现状及问题，我们引入了机器学习模型，自动学习特征与抓路结果之间的关系。一方面，拥有大量规划及实走数据，对于机器学习模型的训练数据获取，高德有天然优势；另一方面，机器学习模型有更强的表达力，能够学习到特征之间的复杂关系，提高抓路准确率。如何实现机器学习化 回归机器学习本身，下面来介绍我们如何建立起点抓路机器学习模型。一般来讲，运用机器学习方法解决实际问题分为以下几个方面：目标问题的定义 数据获取与特征工程 模型选择 模型训练及效果评估 1.目标问题定义 在引入机器学习模型之前，需要将待解决问题进行数学抽象。机器学习在高德起点抓路中的应用实践 12 分析起点抓路问题，如上图所示，我们可以看到当用户在 A 点发起路线规划请求时，其定位位置 A 所对应的周边道路是一个独立的集合 B，而用户所在的实际道路是这个集合中的唯一一个元素 C。这样，起点抓路问题转化为在定位点周边道路集合中选出一条最有可能是用户实际所在的道路。整个过程类似搜索排序，因此，我们在制定建模方案时也采用了搜索排序的方式。1.提取用户路线规划请求中的定位信息 A。2.对定位点周边一定范围内的道路进行召回，组成备选集合 B。3.对备选道路进行排序，最终排在首条的备选道路为模型输出结果，即用户实际所在道路C。最终，我们将起点抓路定义为一个有监督的搜索排序问题。明确了需要达到的目标，我们开始考虑数据获取及特征工程问题。2.数据获取与特征工程 业界常言，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。可见对于项目最终效果，数据和特征至关重要。训练起点抓路机器学习模型，我们需要从原始数据中获取两类数据：真值数据，即用户发送路线规划请求时实际所处道路信息。机器学习应用于起点抓路项目，第一个问题就是真值数据的获取。用户在某个位置 A 发起路线规划请求，由于定位精度限制，我们无法确认其实际所在位置，但如果用户在发起规划请求附近有实走信息，可以将实走信息匹配到路网生成一条运动轨迹，通过这条轨迹我们就可以获取到请求定位点所处的实际道路。我们针对高德地图的导航请求数据进行相关挖掘，将用户实走与路线规划信息相结合，得到机器学习在高德起点抓路中的应用实践 13 了请求与真值一一映射的数据集。特征数据 在起点抓路模型中，我们提取了三大类特征用于构建样本集，分别是定位点相关特征、道路自身特征以及定位点与道路之间的组合特征。特征处理是特征工程的核心部分，不同项目在进行特征预处理时会有不同，需要根据实际业务场景进行特殊化处理，往往依赖于专业领域经验。起点抓路项目中，我们针对定位特征进行了样本去重、异常值处理、错误值修正及