面向电信客服数字化改造的多...大数据可视化技术研究与运用_肖军.pdf

17运营与应用2023.02 广东通信技术DOI:10.3969/j.issn.1006-6403.2023.02.004面向电信客服数字化改造的多源数据采集和大数据可视化技术研究与运用肖军陈震原李芳陈茂强提出了一种多源数据采集的工程实践方法，通过机器人流程自动化（RPA）等技术打破企业数据烟囱隔离，使得离散在企业各个数字孤岛的数据能够实时同步到统一的数据库中，并通过大数据可视化技术实现各类生产经营过程的实时看板，提升企业运营生产管理效率。肖军硕士毕业于重庆邮电学院，现任职中数通信息有限公司业务总监，主要研究方向为基于大数据和 AI 的客服领域数字化改造。陈震原广东工业大学 MBA，现任职中国电信股份有限公司广州分公司客户服务部副总经理，广州服务贸易与服务外包协会优秀专家、呼叫中心专委会主任，打造高绩效呼叫中心第一作者。李芳硕士毕业于暨南大学，现任职中国电信广州分公司客户服务部副总经理，目前主要负责要客和星级客户的服务运营管理工作。陈茂强硕士毕业于香港公开大学，现任职广州云趣科技有限公司联合创始人，主要研究方向为 AI 及大数据技术赋能政务企业数智化转型。关键词：数据烟囱 多源数据采集 RPA AI 大数据可视化摘要1 引言由于电信运营商各大业务系统初期都以烟囱方式建设，各业务系统间数据关联出现了各种各样的问题，数据源多种多样、数据标准不统一、数据质量也参差不齐。在生产经营过程中，企业实时监控的数据往往来自于不同的业务系统，又必须在统一的对比环比等联动分析下才能指导企业生产，完成绩效指标，提高劳动效率。所以打破数据烟囱，建立数据关联分析是数字化改造的关键第一步，这就涉及到了多源数据采集处理的问题。既然是数据烟囱，那么这些烟囱的建设者往往来自不同厂商，有的甚至年代久远，接口不统一或缺乏一些数据接口功能，有些数据还是非结构化数据，例如语音或文本段落，需要自动语音识别技术（ASR）进行语音转写和自然语言处理技术（NLP）进行语义识别后提取关键词。18运营与应用运 营 与 应 用以电信客服领域涉及到的业务为例，在本地网客服的处理过程中，座席人员处理投诉需要查看的关键信息系统有 10000 号系统，BSS 系统、CRM 系统、综调系统、装机地址库等，座席人员的排班打卡数据可能又来自于钉钉等外部系统，客服投诉处理形成的各项满意度、重投率、及时率等数据又来自于其它信息系统。我们的目标就是对客服领域的投诉工单量和处理质量全程跟踪和对比分析；对座席人员的生产时效、质量实时地全程跟踪分析；对投诉工单开展根因分析。并且针对这些分析后的结果，通过大数据可视化技术，以图形界面形式呈现出来。2 多源数据采集和数据可视化主要技术介绍首先，在客服数字化转型过程中涉及到的多源数据采集技术有：RPA、ASR、NLP 等，本文重点介绍一下 RPA 技术在多源数据采集中发挥的重要作用。其次，所有集中处理后的数据需要以图形化看板形式呈现出来，本文也会重点介绍一下数据可视化技术是如何打造数字化智能看板的。2.1 RPA 技术介绍机器人流程自动化1（Robotic process automation，简称 RPA）是以软件机器人及人工智能（AI）为基础的业务过程自动化科技。机器人流程自动化（RPA）系统是一种应用程序，它通过模仿最终用户在电脑的手动操作方式，提供了另一种方式来使最终用户手动操作流程自动化。在传统的工作流自动化技术工具中，会由程序员产生自动化任务的动作列表，并且会用内部的应用程序接口或是专用的脚本语言作为和后台系统之间的界面。机器人流程自动化会监视使用者在应用软件中图形用户界面（GUI）所进行的工作，并且直接在 GUI 上自动重复这些工作。因此可以减少产品自动化的阻碍，因此有些软件可能没有这类用途的 API。RPA 技术类似图形用户界面测试工具。这些工具也会自动的在图形用户界面上互动，而且会由使用者示范其流程，再用示范性编程来实现。机器人流程自动化工具的不同点是这类系统会允许资料在不同应用程序之间交换。用更通俗的解释，RPA 就是借助一些能够自动执行的脚本（这些脚本可能是某些工具生成的，这些工具也可能有着非常有好的用户化图形界面）完成一系列原来需要人工完成的工作，但凡具备一定脚本生成、编辑、执行能力的工具在此处都可以称之为机器人，具体逻辑流程如图 1 所示。通过 RPA 软件编写的“机器人”程序，可以捕捉并模拟我们日常的键盘、鼠标操作等人机交互行为，它们可以完成识别、触发、通信、文本生成等任务，自动执行重复性的业务流程。图 1 RPA 逻辑示意图另一种常见网页信息抓取技术是爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。RPA 和爬虫的区别。（1）爬虫在处理网页内容时，直接操作 HTML，可以非常灵活和精细（借助正则表达式几乎无所不能）。而RPA 操作的是可见的网页元素，模拟人的操作。相对来说，爬虫的功能更加强大，但 RPA 程序的开发难度相对爬虫简单。（2）爬虫则经常会被要求短时间内抓取大量数据，可能会对目标网站造成一定的流量压力。频繁和大量地爬取竞争对手网站数据，有可能会触发反爬虫机制。而 RPA获取网页数据的数据量相对不多、而且频率相对较低的话，反爬虫机制大概率不会进行封锁。2.2 大数据可视化与数字孪生技术介绍2.2.1 什么是大数据可视化大数据可视化2是关于数据视觉表现形式的科学技术研究。其主要目的是借助图形手段，清晰、有效地进行传达与沟通信息。广义说来，大数据可视化技术包含以下几个部分。19运营与应用面向电信客服数字化改造的多源数据采集和大数据可视化技术研究与运用2023.02 广东通信技术（1）数据处理：指利用一定的算法和工具对数据进行定量的推演和计算。（2）数据分析：对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据。（3）数据可视化：将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化是大数据发展的产物，它增强了普通用户对大数据的理解。常用的图表方式有：柱状图、K 线图、饼图、直方图、热力图、散点图、漏斗图等。前端界面中几种常见的大数据可视化技术，例如Highcharts、Echarts、Charts、D3，使用 JavaScript 结合HTML5 中的 Canvas 和 SvG 实现，能在 PC 和移动设备上运行且支持大多数主流浏览器，兼容性很好，本项目实践采用的是ECharts技术，ECharts全新4、0版本新特点有：千万级数据可视化渲染能力、SVG+Canvas 双引擎动力更佳、数据样式分离及扁平配置让开发更便捷、首创无障碍访问支持、适配微信小程序和 ppt。2.2.2 什么是数字孪生根据国际定义，数字孪生3是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程，虚拟与现实的映射关系如图 2 所示。数字孪生是源自工业界的概念，随着5G通讯、物联网、云计算、大数据、人工智能等新一代信息技术的发展和广泛应用，数字孪生在理论层面和应用层面均取得了快速发展，逐渐延伸到数字城市、数字园区、数字交通等应用领域。3 实践：电信客服智能座席看板技术路线基于以上技术，以下以广州电信客服部智能座席看板为实践应用案例。3.1 智能座席看板项目背景介绍传统电信客服座席管理工作中，由于座席团队数量大，管理层级多，晨会、周例会、经营分析会、培训会等应接不暇。班组长日常查询、统计、整理各项经营数据工作强度很大，整理出来的数据还缺乏实时性和客观性。此外，针对各类投诉工单的共性问题整理工作，也大量依靠人工白描，工作量大，成本高，时间上也滞后于生产，缺乏预警能力。因此，客服工作的数字化转型迫在眉睫，广州电信率先引入大数据和 AI 技术，进行智能座席看板的项目实施，把生产中的投诉工单、座席人员产能和时效进度、关键客服质量指标、工单定责定性等数据实时、客观地呈现在一个统一的可视化大屏里，每小时更新一次数据，全面监控座席的工作情况、投诉工单的走势、工单根因分析等。3.2 智能座席看板技术路线如图 3 所示，为实现智能座席看板，关键第一步就是数据的采集；然后针对采集后的数据进行清晰、加工处理后进行数据分析；最后对分析后的结果进行可视化的展示。图 2 数字孪生的双向映射简单来说，就是针对现实世界中的实体对象，在数字化世界中构建完全一致的对应模型，通过数字化的手段对实体对象进行动态仿真、监测、分析和控制。图 3 智能座席看板结构图20运营与应用运 营 与 应 用（1）后端微服务相关组件微服务框架组件4：Spring Boot2+Spring Cloud Hoxton.SR8+SpringCloud AlibabaSpring Boot Admin：管理和监控SpringBoot应用程序的微服务健康状态数据持久化组件：MySql+Druid+MyBatis+MyBatis-PlusSeata：分布式事务管理，跨服务的业务操作保持数据一致性高性能的 key-value 缓存数据库：Redis+Redisson-Client+RedisTemplateAPI 接口文档：Swagger2+knife4j接口参数校验：spring-boot-starter-validationNacos：一个更易于构建云原生应用的动态服务发 现、配置管理和服务管理平台Sentinel：把流量作为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性OpenFeign：微服务架构下服务之间的调用的解决方案+Ribbon 实现负载均衡/高可用重试机制Gateway：微服务路由转发+聚合knife4j微服务文档+【Gateway+OAuth2+JWT 微服务统一认证授权】Oauth2：SpringSecurity单点登录功能支持多终端认证授权+RBAC 权限框架（2）前端视图相关组件ES6：Javascript 的新版本，ECMAScript6 的简称。利用 ES6 我们可以简化我们的 JS 代码，同时利用其提供的强大功能来快速实现 JS 逻辑vue-cli：Vue 的脚手架工具，用于自动生成 Vue 项目的目录及文件vue-router：Vue提供的前端路由工具，利用其我们实现页面的路由控制，局部刷新及按需加载，构建单页应用，实现前后端分离vuex：Vue提供的状态管理工具，用于统一管理我们项目中各种数据的交互和重用，存储我们需要用到数据对象element-ui：基于MVVM框架Vue开源出来的一套前端 ui 组件Echarts5：是一款基于 JavaScript 的数据可视化图表 库，提供直观，生动，可交互，可个性化定制的数据可视化图表，它提供了常规的折线图、柱状图、散点图、饼图、K 线图，用于统计的盒形图，用于地理数据可视化的地图、热力图、线图，用于关系数据可视化的关系图、treemap、旭日图，多维数据可视化的平行坐标，还有用于 BI 的漏斗图，仪表盘，并且支持图与图之间的混搭。4 实践成果总结和未来展望4.1 成果总结从实践结果来看，如图 5 所示，智能数字看板上线后，主要呈现了四大板块的数据实时展现，首先是客服的主关键指标：包括满意率、重投率和及时率；其次是工单实时具体技术实施上，本智能座席看板项目是基于经典的技术组合（Spring Boot、Spring Cloud&Alibaba、Vue、Element）来搭建的一个Java EE分布式微服务架构平台。如图 4 所示，平台是前后端分离的，将界面、业务逻辑和数据分离，实现系统内部之间的松耦合，以灵活、快速地响应业务变化对系统的需求。系统层次划分为控制层、业务层、服务层和持久层，所有的服务都是采用目前先进的微服务的架构思想来实现，其中服务之间统一使用 HTTP来通讯，通过各层次系统构件间服务的承载关系，实现系