云上游戏数据分析实践.docx

来源：好游戏攻略时间：2024-11-23 02:15

云上游戏数据分析实践

云上游戏数据分析实践本文章来自于阿里云云栖社区数据分析和游戏的生命周期与盈利息息相关，同时数据分析对游戏的运维也起到了至关重要的作用，精确的数据分析可以延长游戏的生命和帮助其盈利。本文针对游戏行业的数据特点，结合游戏数据分析的现状，对数据分析上云的技术选型、结合ODPS、SLS、RDS、DPC等产品和服务实施的解决方案进行了介绍。...作者：上海驻云高级架构师李俊涛从游戏发展的角度来看，不管是端游、页游，还是现在发展迅猛的手游，其生命周期与盈利情况都与数据分析能力息息相关。同时数据分析对游戏的运维也起到了至关重要的作用。精确的数据分析有助于在做游戏运营时推出合理的新手引导，在及时的渠道推广和丰富的消费场景设计，这些将极大地影响游戏玩家对游戏的关注度，从而延长游戏的生命周期，并从中更好盈利。??????游戏数据分析特点??????分析是建立在数据上的，数据的特点决定了分析的方向和方法。游戏数据的特点主要表现在以下四个方面。??????第一，数据量大。以手机游戏为例，一款中型规模手游的日均数据量增长在几十GB。在这种情景下，做常见的月活、季活等游戏指标分析所面对的就是TB级别的海量数据。??????第二，数据类型丰富。从游戏数据的种类来看，分为结构化数据和非结构化数据。从数据存放的位置来看，可以分为文本数据、缓存数据库数据、关系型数据库数据等。??????第三，分析维度多样。由于游戏指标不同，所以游戏分析的维度有很大差异。例如，游戏指标通常玩家指标、性能指标和过程指标三类。??????■ 玩家指标，一般用于计算与收入相关的指标，如用户平均消费指标（ARPU，average revenue per user ）和每日活跃用户（DAU，daily active users ），也可以用于调查人们如何与游戏系统交互，如用户游戏时间和用户的游戏内好友平均数。??????■ 性能指标，针对游戏技术和软件框架性能，一般包含游戏在用户硬件平台上运行的帧速率，也被用来在观察打补丁或升级时对用户造成的操作影响。??????■ 过程指标，针对游戏开发实际过程中的数据指标。??????第四，实时性强。数据分析分为四个层次，数据量少实时性低，数据量少实时性高，数据量大实时性低，数据量大实时性高。这四个数据分析的层次对技术难度的要求是逐渐提高的。而游戏数据分析的特点可以划定在最后一档即数据量大实时性高，所以海量游戏数据分析对技术能力和软件需求提出了极大的挑战。??????游戏数据分析现状及瓶颈??????我们曾拜访了近百家游戏客户，深入了解游戏开发商如何处理和分析数据，发现目前数据分析在不同游戏行业中使用程度不同，主要表现在游戏规模越大，使用的数据分析维度越广，程度越深；中小型游戏数据分析使用程度一般。总体来说，游戏数据分析的现状如下。??????第一，不做数据分析。这种类型的游戏客户在小型页游和大厅类游戏中比较常见，只是出于备份的需要将数据从生产环境中定时批量备份出来，用单独的硬盘或者服务器做数据存储。??????第二，数据库级别执行SQL查询。大多数的游戏客户将生产数据备份出来，导入到专有的数据库中做离线数据分析，采用的方法是使用SQL语言和第三方报表工具做基本的数据查询。但基于数据库对数据量的限制，当单表记录到千万甚至上亿级别后，这种分析方法就基本行不通了。??????第三，使用成熟的数据仓库产品。在中大型游戏客户中，数据规模已达到一定的数量级别，游戏运维离不开数据分析的支撑。这种情况下，用户会选用数据仓库产品，将数据库中的数据经过ETL后导入到数据仓库中做数据分析，或者用户利用物理机集群自建大数据分析平台，例如Hadoop，Spark等分布式大数据分析框架，结合具体应用场景做大数据分析。??????在数据分析中，当数据量达到海量级别后，上述三种情况都会遇到相应的瓶颈：??????■ TB/PB级别的数据分析耗时太长；??????■ 时间跨度大的数据分析耗时太长；??????■ SQL无法满足所有数据分析需求；??????■ 海量数据的存储问题。??????除了海量数据处理能力问题之外，用户在自建Hadoop等分布式大数据分析框架中也会遇见技术难度高、框架维护成本高等问题。??????阿里云产品和服务选型??????在协助游戏客户将数据分析上云之前，我们仔细分析了目前用户的数据分析方式。他们的数据目前主要以两种形式存在，文本日志数据和数据库关系型数据。??????■ 文本日志数据记录的是玩家实时战斗信息、晶钻消费信息和登录状态信息。这些数据在每个游戏服务器上都会产生，遵循用户自定义的数据格式。用户有一组专门的日志服务器和自定义程序在游戏服务器上定时批量抽取这些文本数据存放到日志服务器上。??????■ 存放在数据库中的关系型数据增长速度通常会比较快。