行业综述

大数据技术及其在电信行业的应用研究
发布时间:2017-12-08

梁杨,朱宏文,赵大海

(中国移动通信集团设计院有限公司河北分公司,河北 石家庄 050021)

收稿日期:2016-12-10

【摘要】为了对大数据技术及其在电信行业的应用进行研究,首先梳理了电信运营商的大数据资产,其次通过对大数据主流技术的研究,归纳出电信运营商大数据服务能力,然后分析电信行业大数据的应用并给出案例,最后提出大数据的运营与发展建议。

【关键词】大数据资产    大数据技术    对外变现

doi:10.3969/j.issn.1006-1010.2017.05.000      中图分类号:TN915.0      文献标志码:A      文章编号:1006-1010(2017)05-0000-00

引用格式:梁杨,朱宏文,赵大海. 大数据技术及其在电信行业的应用研究[J]. 移动通信, 2017,41(5): 00-00.

 

Research of Big data technology and its Application in the Telecom Domain

LIANG Yang

(China Mobile Group Design Institute Co., Ltd., Hebei Branch, Shijiazhuang 050021, China)

[Abstract] Big data assets of telecom operators were expounded firstly in this article. Secondly, big data service capability of telecom operators was concluded based on the research of big data mainstream technology. Then applications of big data in the telecom domain were analyzed and the cases were given. Furthermore, operation & development suggestions of big data were put forward.

[Key words] big data assets    big data technology    external realization

 

1   引言

移动互联网的飞速发展催生了“大数据时代的到来,各种新型智能移动设备的迅速普及带来了海量数据的爆炸式增长,运营商业务面临着前所未有的数据膨胀和数据多样化(手机信令、海量手机用户上网、B/O/M/DPI各域协同分析等),能否有效地利用和分析这些数据,成为市场竞争的关键,国内外电信运营商的发展战略也由流量经营逐渐向数据经营转变。

自2013年“大数据元年以来,大数据相关技术日臻成熟,但是电信行业在大数据技术的应用方面目前还主要以企业内部应用为主,在大数据资产对外变现方面的应用相对较少,仍旧处于探索阶段。本文将研究电信运营商如何利用自身掌握的数据资源优势,结合大数据技术,尽快推出各类应用,对内强化自身优势,对外拓展盈利机会。

 

2   运营商大数据资产

用户从开户、充值到通话、短信、上网等使用通信服务的行为产生了大量的数据,这些数据和电信基础设施数据以及由其衍生的预算、财务等各类数据,积累在电信运营商的IT系统中,形成了巨大的数据资产。我国三大电信运营商均为全业务运营商,各自的数据资产大同小异,下面以我国最大的电信运营商——中国移动为例,阐述电信运营商所掌握的大数据资产情况,如表1所示:

表1    中国移动大数据资产

业务支撑系统

B域)

网络支撑系统(O域)

管理信息系统(M域)

DPI数据系统

业务管理平台

主要系统

业务运营支撑系统(BOSS
客户关系管理系统(CRM
宽带开通平台
业务支撑网运营管理系统(BOMC
集团客户业务综合运营平台(ESOP
数据业务管理平台(DSMP
……

话务网管系统
数据网管系统
传输网管系统
电子运维平台(EOMS
无线网优平台
资源管理系统
故障管理系统
性能管理系统
自动拨测系统
自动路测系统
……

企业资源管理系统(ERP
合同管理系统(COMS
报帐平台(EAS
预算管理系统(BMS
银企互联系统
电子采购系统(EPO
资产管理系统(EAM
……

信令监测系统
上网日志留存系统
数据业务监测与分析系统
●WLAN
日志留存系统
●LTE
信令监测系统
不良信息监测系统
●IDC
流量流向监控分析系统
……

●12580综合信息服务平台
●139
邮箱业务平台
●MM
平台
飞信业务平台
手机报业务平台
终端管理平台
手机导航业务平台
手机视频业务平台
手机游戏平台
手机阅读平台
……

数据内容

三户数据
订购关系数据
渠道数据
产品数据
营销数据
客服数据
终端数据
……

性能数据
MR数据
资源数据
告警数据
工单数据
路测数据
……

资产数据
应收/应付数据
财务数据
合同数据
预算数据
……

位置数据
上网数据
开关机数据
流量数据
寻呼数据
漫游数据
……

用户数据
订购数据
登录数据
点击数据
使用数据
数字内容数据
……

从中国移动的大数据资产列表中可以看出,各个电信运营商的IT系统中存储着种类众多的数据,这些数据涵盖了通信业务类、网络信令类、互联网内容类、企业管理类等诸多方面。通信业务类数据可以帮助电信运营商提供更好的客户服务,实现更加精准和灵活的计费;网络信令类数据可以让运营商实时地获取用户当前所处的位置、通信行为产生的时间、地点等,DPI(Deep Packet Inspection,深度包检测)数据经过二次解析后,可以让运营商清楚地知道用户的网络行为,比如访问过哪些网站、购买过哪些商品,从而判断出用户的兴趣及关注点;互联网内容类数据来自Web和APP客户端,一般通过JS(JavaScript,一种脚本语言)插码或SDK(Software Development Kit,软件开发工具包)的方式收集包括用户支付记录、商铺信息、终端数据、内容订购以及消费记录等信息;企业管理类数据可以帮助电信运营商优化和提升自身的管理效率等。

针对大数据资产(劳动对象),电信运营商(劳动者)需要通过运用大数据技术(生产工具)才能输出有用的数据(价值),为企业创造价值。

 

3   大数据技术及服务能力

3.1  大数据主流技术

大数据的海量、多结构、高增速、低价值等特点对数据库、文件系统等数据处理和挖据技术提出了很高的要求。传统的RDBMS技术受限于容错性和扩展性,不能适应大数据的快速处理和深度分析需求,传统的RDBMS技术在大数据领域适合的场景逐渐萎缩至数据可视化,担任数据集市的角色。

近几年来,X86架构服务器以高性价比、功耗低、占用空间小等优势逐渐取代传统小型机,成为电信运营商使用最广泛的硬件资源,与X86服务器相适配的大数据技术也同步快速发展。以Hadoop等为首的大数据技术日益成熟,被业界广泛接受和应用,从开源版本到商业定制化版本均有成熟稳定产品,广泛应用于海量数据的批处理场景,Hadoop技术的发展促生了良好的生态环境;MPP(Massively Parallel Processing,大规模并行处理)数据库是基于关系型数据库的改进,在扩展性方面得到了增强,使之在深度分析领域占有一席之地;Spark技术属于新兴技术,通过基于内存的计算框架提高计算性能,适合准实时数据处理等场景;流处理技术则是针对实时性非常强的流式数据进行处理的利器;NoSQL技术是对关系数据库的功能进行简化或者去除,抛弃一些对具体应用场景不太关键的关系数据库的累赘,以在某些方面获得优于关系数据库的特性,绝大多数NoSQL数据库的本质都是Key-Value store(键值对存储),适合简单高效的海量数据快速存取场景。

大数据主流技术情况介绍以及对应的应用场景和代表产品如表2所示:

表2    大数据主流技术

大数据主流技术

技术简介

应用场景

代表产品

Hadoop

技术

主流的分布式计算平台,基于X86服务器集群部署,提供分布式数据存储、分布式计算框架;同时整个生态圈提供了大量外围组件满足各类应用场景需求

冷数据存储、批量数据处理、机器学习与数据挖掘、流量清单查询/日志、详单查询等;主要应用于离线批处理场景

MapReduceHDFSHiveMR2PigMahoutRHbaseZooKeeper

MPP

数据库

基于X86服务器集群部署的并行关系型数据库,针对分析型使用场景提供了大量技术优化,以充分发挥关系数据库的数据关联分析能力和MPP架构的性能优势

深度分析与挖掘、即席查询与自助分析等

PivotalGreenPlumHPVertica、南大通用的Gbase 8a

Spark技术

新兴的分布式计算平台,使用基于内存的计算框架以提升性能,适用于迭代计算场景。同时提供应用工具降低使用复杂度

海量数据批处理、数据挖掘和机器学习、准实时数据处理等

Spark

流处理

一种实时计算框架,基于数据流的分发、处理模式及时、高效处理数据

基于多元化数据采集、实时分析处理、复杂规则匹配等过程的实时营销、监控类场景

TwitterStormFacebookScribeLinkedin基于KafkaYARN开发的SamzaClouderaFlumeApacheNutch

NoSQL技术

通常指非关系型数据存储和查询技术NoSQL是不严格遵循二维表范式模型的数据库管理系统,它对关系数据库的一些特征与约束进行简化,以更好地满足一些特定的需求,包括但不限于高可伸缩性、高性能以及模式自由

/详单、日志存储和查询,客户标签存储和查询,非结构化数据存储和查询;适用于简单高效的海量数据快速存取场景

HBaseCassandraMongoDBCouchDB

内存数据库

通过将数据存储在内存中以提高数据库性能,同时通过额外的数据保护机制保障内存数据库安全

数据访问提速、为流处理提供数据存储和查询、系统间或组件间数据传递平台(高速访问)

OracleTimesTenIBMSolidDBHANAVoltDBMemSQLRedisMemcached

上述大数据技术在具体应用的时候,根据实际应用场景,可能采用一种技术,也可能采用几种技术的组合。

3.2  运营商大数据服务能力

电信运营商将自己掌握的大数据资产与大数据技术相结合,就可以产出大数据服务能力,包括位置信息服务能力、价值信用评估能力、体验感知评测能力、社交关系识别能力、兴趣偏好分析能力、行为关联预测能力等,这些服务能力是运营商大数据应用的基础。

3.3  电信行业大数据应用

按照电信运营商的角度,可以将大数据的应用分为企业内部应用和企业外部应用两类。企业内部的应用大多以报表和专题的形式展现,包括提升系统效率、提高用户满意度、提升营销效果等;企业外部的应用则以报告和应用等形式输出为主,包括旅游、公安、征信、气象、人口密度等领域的应用。这些应用无论是对内使用还是对外变现,都可以归纳为网络、运营、用户、市场营销等维度,如表3所示:

表3    大数据应用维度划分

网络

运营

用户

市场营销
B2CB2B

市场营销
B2B2C

网络规划

改善用户体验

流失率预测和管理

追加销售、交叉销售

向第三方出售客户数据

网络优化(实时)

计费和收入保障

忠诚度管理

营销活动管理

针对性投放广告

网络变现

欺诈管理

个性化服务

下一个最佳购物建议

精准营销

网络监控和保护

SLA(服务等级协议)管理

客户分析

针对性营销策略

故障检测

定价优化

更丰富的传播经验

社交关系分析

接下来,本文将基于上述内容,结合国内和国外有代表性的电信运营商的大数据应用案例分别进行阐述。

3.4  国内运营商应用案例

国内电信运营商(中国移动、中国电信、中国联通)的大数据应用目前还是以内部应用居多,外部变现类应用较少。

(1)中国移动近3年密切跟踪并研究大数据技术,积极探索和推广大数据应用,企业内部应用较多,具有代表性的应用有:某省公司A引入Hadoop平台解决Gn口海量数据的实时接入、海量存储、高效运算、数据分析挖掘、数据实时服务等问题;为了满足移动互联网时代带来的经分海量数据处理需求,某省公司B引入Spark技术搭建流量运营平台实现数据处理效率的提升,支持海量数据分析,从技术上助力流量运营平台更好地发展;为了解决传统经分主库压力大、扩展困难的问题,某省公司C将原经分系统中的Oracle A、B库的清单汇总以及各类应用逐步迁移到Vertica分析数据库集群中,减轻主库压力,满足应用增长的需求;某省公司D构建Storm流处理技术的实时经分体系,进行实时数据获取与处理、实时数据分析与展现,让使用者及时获取市场动态,凸显数据价值;某省公司E为了给用户提供实时详单查询服务,提高用户满意度,引入HBase技术,提供高吞吐、低延时、低成本的查询服务;某省公司F引入Flume+Kafka+Storm技术组合架构,搭建实时日志采集平台,实现从各数据源采集点的数据采集、数据接入、在线处理到最终数据输出的快速高效解决方案。广州移动通过网络优化大数据的共享平台结合移动办公,进一步提高网络优化的效率,拓展了网络优化的时间和空间,摸索了一条在移动互联技术背景下,如何对网络优化生产进行转型升级的道路,也填补了移动互联优化这一领域的空白。

中国移动大数据对外应用也在积极探索中,目前大数据对外变现类应用在征信领域代表性的案例是东莞移动与东莞某银行的合作:东莞移动构建的基于电信大数据的个人征信评价体系由客观变量、评价指标及信用评分三部分组成;客观变量包含ARPU(Average Revenue Per User,每用户平均收入)、流量消费、在网时长等用户业务数据,以及用户的性别、年龄、身份证号码或者实名制信息等用户基础数据共24项变量;基于客观变量,将24项变量划分为身份特征、通信消费能力、信用历史、行为偏好以及人脉关系五类评价指标;最终评分参考了美国个人信用评级法FICO评分,通过评分模型逻辑计算输出用户评级,分数越高代表用户的信用越好。银行在发行信用卡或审核贷款时通常面临申请人资料是否属实和给予申请人信用卡或贷款额度多少的问题,为解决这两个问题,东莞某银行与东莞移动就大数据评分在信用卡授信方面通过上述联合建模,提出了应用方案,即:问题一可通过运营商实名制结果予以验证,问题二可通过综合信用评分予以解决。该合作从2015年9月份开始正式运营,共受理银行信用卡授信请求1709笔,通过银行验证1075笔,应用效果良好。

在旅游大数据应用领域,河北移动通过前期在秦皇岛等地市的试点推广获得普遍认可,系统通过对信令数据的采集与挖掘,输出游客游览景区的行为,帮助旅游和景点管理部门掌握景区流量、优化景区设施等,后期将大数据报告形式的服务转化为以系统支撑的常态化服务。

在公共服务领域,河北移动推出人群密度大数据,针对各类热点事件、重大节日,如庙会、跨年夜、演唱会、体育赛事等区域,进行人群密度的实时监控,包含对人群的年龄分析、来源分析、市场占有率分析等,并对人群聚集较多的区域及时预警,通知相关人员,做好防范工作,避免踩踏等事件的上演。

(2)中国电信是国内电信运营商中最早实施互联网行为分析用于自有业务推广的企业。在对外应用方面,中国电信在2013年启动大数据RTB(Real Time Bidding,实时竞价)广告业务;在对内应用方面,中国电信河南公司对运营商网络数据进行深度加工,对原本只用于计费的通话详单进行深度加工,挖掘其中的用户行为属性,构建用户行为分析模型,并成功应用于养卡用户监控等业务。

(3)中国联通建设的“移动通信用户上网记录集中查询与分析支撑系统中引入大数据和Hadoop技术,构建了一个全国集中的一级架构海量数据存储和查询系统,用于支撑全网数亿用户的上网记录查询工作,通过集中统一的大数据平台对用户数据进行深度的挖掘分析,提升针对用户的个性化业务支持能力。

3.5  国外运营商应用案例

国外一些主流运营商的大数据应用案例如下所示,其中的对外变现应用案例尤其值得国内运营商参考借鉴。

(1)T-Mobile:利用大数据分析来推动其去运营商化策略来减少客户流失:通过跨部门数据整合和分析来全方位审视客户,鼓励客户共享其社交媒体页面,针对特定项目跨业务部门共享所有客户数据,用于从内部和外部(例如社交媒体)全方位检视客户对客服、技术支持和营销的看法;洞察产品和服务的性能、客户与公司接触的触点;洞察收入管理系统、采购-下单、出货和物流;洞察网络质量和覆盖范围。

(2)Orange:1)通过对客户进行细分,分析客户数百万电话的数据记录,重点关注客户的通话对象以及通话频率,有效提高了用户流失预测模型的精确性,另外还通过分析掉话率数据,寻找超负荷运行的网络并进行维护及扩充;2)“Orange Business Services”还将大数据应用到公共服务领域,如根据高速公路上车辆每天产生的数据记录进行分析,帮助车辆获得及时准确的信息,提高道路通行率。

(3)AT&T:1)AT&T选择与Facebook结成战略联盟,通过对Facebook的非结构化数据进行分析,挖掘用户对价格、移动功能、服务感知等产品指标的体验情况,从而推出更加准确的电信捆绑服务;2)通过客户在星巴克门店附近通话等通信行为收集客户的位置信息,挑选高忠诚度客户,签署AT&T与星巴克之间业务协议,并把隐私管理权交给客户自己,AT&T将这些信息服务卖给星巴克,星巴克通过对这些数据的挖掘做出个性化推荐。

(4)Verizon:成立精准营销部门,洞察用户需求以进行精准营销,为广告投放提供数据支撑,并推出面向ISIS(Verizon、AT&T和T-Mobile发起的移动支付系统)的移动商务。

(5)意大利电信:通过对客户数据的洞察,有效地预测收入状况与客户行为的关联性,推出诸多个性化产品满足客户需求。

(6)Telefonica:启动一个针对移动宽带网络的端到端用户体验管理项目,并建立一个包含60多个用户体验指标的系统,支持无线网络控制器(RNC)、域名系统(DNS)、在线计费系统(OCS)、SGSN等各种网络节点的信息采集,为用户体验优化提数据支撑。

(7)西班牙电信:通过采集网络侧的用户位置、行为、域名等数据,基于完全匿名和聚合的移动数据,对某个时段、某个地点人流量的关键影响因素进行分析,将洞察结果提供给零售商,供他们为新店设计和选址、设计促销方式、反馈客户等提供决策支撑。

电信运营商既是大数据的生产者,也是大数据的传输者和使用者。由于用户数据的隐私问题,各运营商在对外应用推广方面十分谨慎,进展缓慢,但受上述国外运营商的一些对外变现案例的启发,电信运营商在对外变现类应用推广过程中可以考虑采取如下策略来规避隐私问题:第一种策略,售卖的信息是人群分组信息(基于完全匿名和聚合的数据),采用群体性的、趋势性的分析,并非用户个人明细信息;第二种策略,对数据的某些敏感信息通过某些规则进行数据的变形,实现数据“脱敏,引入第三方中立机构进行评估佐证,以规避用户隐私方面的法律风险;第三种策略,客户在充分了解业务的基础上与电信运营商(或电信运营商和合作商一起)签署协议,客户隐私的管理权交给客户自己。

 

4   结束语

目前,电信行业大数据技术的应用还处于初级阶段,以企业内部应用为主,侧重改善技术、管理、流程、服务等方面的问题,对外变现类应用极少,实现数据资产对外变现才是大数据的真正魅力和意义所在。

大数据的重要性已众所周知,互联网企业凭借其灵活机制和互联网基因等优势率先开拓了市场,电信运营商面临更加严重的管道化威胁,电信运营商应尽快利用掌握的优势资源和储备的大数据技术,开展对外变现类的增值应用,迅速建立对外服务的生态圈,提高自身竞争力。

通过本文的分析可知,要实现大数据的广泛关联,进而提高大数据的价值,电信运营商要有开放的思想、开阔的思路。通过建立企业大数据开放平台,借助外脑,与友商合作开发应用,实现共赢;通过与潜在的互联网企业合作(如百度公司,百度在掌握用户资料方面处于弱势,而运营商则处于明显优势),互补、共享双方的大数据资源,实现共赢。合作可以通过开放接口等技术方式实现,也可以通过直接投资对方企业进行控股等商业手段实现。更理想的情况,电信运营商在拥有大数据技术能力和运营能力的基础上还可以自己做电商,或者开展诸如RTB广告业务盈利。

总之,电信运营商要争取占领大数据生态圈的上下游,拓展征信、交通、旅游、气象、公安等各个领域的战略合作,尽快布局,决胜未来。

 

参考文献:

[1] Ovum. Using Big Data Analytics To Manage Customer Churn and Loyalty KPIs[Z]. 2015.

[2] 覃雄派,王会举,杜小勇,等. 大数据分析——RDBMS与MapReduce的竞争与共生[J]. 软件学报, 2012(1): 32-41.

[3] 胡舜耕,魏进武. 大数据及其在电信运营中的应用研究[J]. 电信技术, 2015(1): 14-17.

[4] 王波,陈标,魏宇航. 电信大数据在征信领域的应用研究[J]. 移动通信, 2016,40(8): 80-83.

[5] 张云帆. 电信运营商大数据发展策略与价值挖掘[J]. 移动通信, 2016,40(5): 20-23.

[6] 谷红勋,杨珂. 基于大数据的移动用户行为分析系统与应用案例[J]. 电信科学, 2016(3): 139-146.

[7] 许汝鹏,崔晶也,关则洛,等. 网优大数据共享架构设计及应用实践[J]. 电信科学, 2016(4): 152-157.

[8] 郑雪菲. 国外电信运营商大数据应用及启示[J]. 移动通信, 2015,39(13): 29-33.

[9] 何小朝. 纵横大数据-云计算数据基础设施[M]. 北京: 电子工业出版社, 2014.

[10] 中国移动通信企业标准. 中国移动省大数据平台技术规范分册[S]. 2015.

[11] 中国移动集团公司业务支撑系统部. 大数据技术指南(版本号:3.0.0)[S]. 2016.

[12] 段云峰. 电信行业大数据架构研究与实践[A]. 2016中国信息通信大数据大会[C]. 2016. ★

 

作者简介


梁杨:高级工程师,硕士毕业于清华大学,现任职于中国移动通信集团设计院有限公司河北分公司,研究方向为电信领域IT支撑专业的咨询、设计、规划。

 


朱宏文:高级工程师,学士毕业于吉林工业大学,现任中国移动通信集团设计院有限公司河北分公司交换数据所所长,研究方向为电信领域核心网、数据和IT支撑专业的咨询、规划。

 


赵大海:工程师,学士毕业于西安电子科技大学,现任中国移动通信集团设计院有限公司河北分公司交换数据所副所长,研究方向为电信领域数据和IT支撑专业的咨询、规划。

 

请输入评论内容
登录注册访问网站首页。

copyrights @ 2013  版权所有:中国电子科技集团公司第七研究所《移动通信》杂志社

粤ICP备17061932号-2     粤公网安备 44010502000212号