APP推广合作
联系“鸟哥笔记小乔”
运营数据采集(如何高效进行数据采集,这里有一套完整方案)
2024-01-02 10:45:55

如何高效进行数据采集,这里有一套完整方案

运营数据采集(如何高效进行数据采集,这里有一套完整方案)

1. 数据质量是数据分析的基石

假设一个场景:我们想要采集一个广告投放页的数据。

首先,我们与技术同学描述用户进入 App 开屏页所面临的场景:浏览—点击—跳转到广告页;接着,我们提出埋点需求。

点击数据分为有效点击和无效点击两类,但是由于技术侧同学并不会纠结此问题。他便随便从网上下载了一个闪屏页框架,集成到项目中。

在该框架下,点击动作被拆解为:按下,抬起。而我们平时认为的点击动作应该是:短时间内按下和抬起两个动作同时出发。

由于框架的目标是增加点击率,即让看到广告详情页的人变多。所以,当用户按下的时候,就已经触发了跳转到详情页的操作。

大部分非目标客户都会很急躁的退出广告详情页,而真正看到广告并感兴趣的人员则会主动进入广告详情页。

由此带来的洞察结果是:点击率高,转化效果差。市场侧的同学误认为是广告设计的失败,这会影响下次广告投放的视觉效果或投放策略。

通过上述例子,我们得出结论:数据采集的时机和技术侧的实现方式会大大影响业务侧的决策。

“九层之台,起于累土。”在形成一套可被洞察的数据之前,数据采集是最基础也是最关键的步骤。只有数据采得准,这个洞察结果才能在你做商业决策时提供帮助。否则将适得其反,再漂亮的数据分析也带不来实际的效果。

但是在埋点方案的实际实施过程中,我们可能会遇到以下困惑:

  • 如何和技术端沟通你的埋点需求?
  • 技术同学是否很快理解并落地?
  • 最终数据生产结果是否符合你的预期?

GrowingIO 在与上百家客户落地埋点方案的经验中,发现“数据采集带来的数据质量问题”也许已经成为了企业的共性问题,而导致这一问题发生的原因主要有以下 4 点:

  • 前期沟通业务不明确。例如程序员不清楚有效点击和无效点击的区别,只是单纯地从技术层面完成埋点;
  • 采集时机口径对不齐。你希望采集数据的那个时机,技术同学并不明确;
  • 采集点没有统一管理。如果没有统一的渠道去管理点击、浏览等数据,你的埋点方案将因繁琐的程序而无法落地;
  • 版本更新。比如你在新旧版本之间进行比对时,无法发现数据的变化。

数据采集关乎数据质量,它需要产品及业务侧同事做出让技术同学“看得懂、埋的对、实施快”的技术落地方案。

2. GrowingIO 为数据高效采集保驾护航

针对这些棘手问题,GrowingIO 的无埋点技术可以快捷定义页面、按钮、文本框等常见用户行为操作,从而减少在某些重复性高的用户共性行为的埋点代码操作量,为数据快速可视化提供便利。

1.无埋点的定义

什么是无埋点?我们先来看看你是否遇到过以下这些场景:

  • 做了一场运营活动,需要在用户的每一次点击行为上都埋点,却缺乏产研资源;
  • 想衡量交互细节以推测用户行为之间的关联,却苦恼于繁琐的工序;
  • 想查看用户在访问时的一切行为轨迹,探索用户使用产品场景;
  • 想要快速地对比新旧版本,衡量发版效果;
  • 想要分析的事件,没有事先埋点;
  • 新功能上线时,发现有一个重要的元素没有埋点。

针对以上问题,无埋点都可以很好的解决。其实无埋点就是人物、时间、地点、内容、方式的数据采集方式,通过 GrowingIO 的圈选(可视化定义工具)功能,我们可以所见即所得地定义指标。

无埋点(圈选)的核心思想基于以下 5 个元数据:

  • 人物:人的属性,包括 ID、性别、所在区域等;
  • 时间:触发行为的时间;
  • 地点:行为发生的城市、地区浏览器等;
  • 内容:行为的对象,如按钮等;
  • 行为:行为的操作方式,如浏览、点击、输入等。

无埋点能够定义常见事件类型,尽可能地减少代码的使用,减少开发工作量。通过 GrowingIO 的圈选功能,我们能快速采集数据、定义指标、查看实时数据。

2.埋点和无埋点如何选择?

新的无埋点虽然简单便捷,但也有它自身的局限性。同时,我们离不开业务数据维度,所以传统埋点也不能放弃。

埋点和无埋点各有优势,面对不同的场景,我们需要明确目的、结合具体情况综合判断,选择数据采集的最优方式。

(1)埋点

  • 优势
    • 数据定义清晰,稳定性高,用户一旦触发事件,数据就能上报;
    • 可以多次添加业务属性,以支持维度拆解和下钻分析。
  • 劣势
    • 需要提前规划,和开发团队沟通业务需求,跨团队协作确定埋点方案;
    • 历史数据无法回溯,在下一个版本中才能看到。
  • 适用于「监控与分析式」数据场景:
    • 核心 KPI 数据
    • 需要长期监控和存储
    • 业务属性丰富

(2)无埋点

  • 优势
    • 自主性高,可实时查看数据,便于灵活采集;
    • 无需等到发版便可回溯过去 7 天数据。
  • 劣势
    • 受制于产品开发框架和开发规范,任何一个路径发生改变都会产生影响;
    • 维度预定义,无法拆分事件级维度,且无法采集滑动等行为。
  • 适用于「探索式」数据场景:
    • 交互属性强
    • 突发问题快速及时分析
    • 作为补充数据相互印证

综合以上,我们整理出了以下表格,方便大家更好的理解和选择:

总之,埋点技术灵活、稳定、局限性低、精度高,适合跟踪关键节点,隐藏程序逻辑搭配业务维度观察的数据。

无埋点技术确定快,有历史数据,有预定义维度加持,适合快速查看某些趋势型或流程型数据。

当我们选择无埋点还是埋点时,只需要关注:该行为非核心指标且存在预定义无埋点指标中。

如果存在该预定义指标(即无埋点),且预定义维度也满足需求,那么,我们就要针对该无埋点的指标和维度进行观察,可放心选择无埋点。如果不存在或预定义维度无法满足观察该指标的角度,则需要通过埋点指标进行上报。

3. 完整埋点方案设计的四要素

在规划完指标体系后,推进实施是价值落地过程中最重要的一环。

很多客户即使对要监控的数据体系相当明确,也仍然会在实施时遇到瓶颈。这很大程度上归结于团队协作问题,例如数据埋点工程量大、沟通成本高、业务方与开发方无法统一目标等。

这最终会导致我们空有体系,无数可看。

如果将一整套的数据采集方案直接给到研发侧,业务场景描述和逻辑理解的差异会造成大量的沟通成本,最终导致低迷的实施效率。

所以,我们需要将条理化的指标体系梳理成实施需求。而解决该问题的关键点在于以下 4 个步骤:

1.确认事件与变量

  • 事件:这是我们最终要分析的数据来源.,是一个结果性指标,比如支付成功;
  • 变量:事件的维度或属性,比如用户性别、商品的种类;

如果从不同的角度去定位一个问题,它的事件和变量也会发生改变。我们要基于数据需求,找到事件与变量搭配的最优解。

运营数据采集(如何高效进行数据采集,这里有一套完整方案)

2.明确事件的触发时机

  • 需要思考:什么时间才是记录事件的合理时机。例如“分享成功” 事件面临 2 个时机:用户点击“微信”发生分享动作;用户分享后跳转到相应页面。不同的时机会带来不同的“分享成功率”。
  • 所有数据使用者需要明确这一时机。

时机的选择没有对错,需要根据具体的业务需求来制定。同时,不同的触发时机会带来不同的数据口径。

3.规范命名

举个例子:某客户给双十一活动命名时采用拼音与英文结合的方式,这会使得程序员产生混淆,错误埋点。而规范的命名有利于程序员理解业务需求,高效落地埋点方案。

  • 动词+名词 or 名词+动词:如加入购物车、商品点击。
  • 使用驼峰法,即首字母小写,随后每一个关键单词的首字母大写:如 addToCart。
  • 确保事件命名规范一致。

4.明确实施优先级

  • 业务部门必须基于业务指标,明确实施埋点的优先级。因为对于大量事件,开发部门不可能一次性完成所有埋点。以电商为例,购买流程的关键事件应当优先实施,与此冲突的都需往后排列;
  • 考虑技术实现成本,比如有的埋点需要跨越多个接口,应该优先落实能够最快落地的,以确保技术准确性;
  • 如果技术实现成本相同,就优先实施业务数据价值更高的。

通过明确优先级,我们可以专注于产品中需要跟踪的真正重要事件,避免技术埋点冲突,实现价值的持续交付。

基于上述四要素来完成埋点方案设计,不仅可以提升需求方与开发团队的协作效率,更能为后期的数据提供质量保障。

以下表格是我们整理出的模板,该表格完整承接埋点方案设计的四要素,可直接交给技术方进行埋点。

4. 团队协作是埋点方案落地的关键

接下来,我们如何在团队中又快、又准明确埋点需求,实现埋点方案的高效落地呢?

  • 快:需求方希望方案快速落地,快速产生数据,以推动决策;这需要需求方、数据规划师、开发团队三方有序协作。
  • 准:需要确保数据的数据质量和业务含义,保证数据采集的准确度和决策的正确性。

1.完整的埋点协作流程

我们 GrowingIO 在服务过上千家企业的经验中,梳理出了一套完整的埋点协作流程。包含了业务需求方、数据规划师及开发团队。

这三方协作的具体流程和时间轴是:

  • 需求产生,需求方对业务指标进行拆解和设计,与数据规划师沟通,确认合理的采集点,形成埋点方案;
  • 三方探讨技术实现成本,确认埋点方案;
  • 开发团队和数据规划师执行方案,沟通埋点落实情况,呈现数据;
  • 数据规划师进行数据校验,检查埋点时机和指标是否正确,过程是否完整;
  • 程序发版上线,实现数据监控和分析。

2.具体场景演示

接下来将以某 App 的注册场景为例,帮助大家理解埋点方案落地的具体流程。

(注册首页填写手机号——注册验证输入短信验证码—注册信息 A、B、C——进入 App 首页)

(1)场景 1

业务方的需求是:快速分析现有注册流各个步骤间的转化率,从而找到流失较大的环节进行优化。

可见,业务方单纯关心该流程间步骤的转化流程,那么我们就要关注用户的浏览行为动作,可以把指标定义为各个步骤间的页面。

具体来讲,登录动作从登录首页到进入登录后的首页共 6 步,而且我们的关注角度如机型、地区、国家等不属于业务范畴,都在预定义维度中,这就很符合我们无埋点指标的定义规则。

所以,我们可以快速定义出 6 个浏览页面指标,即可完成对于数据的分析。

通过 GrowingIO 产品分析,我们可以得到以下图表,看到各个步骤的人数和转化情况。据观察,注册验证——注册信息 A——注册信息 B 这 3 个页面间的流失率高,我们需要在此进行优化。

以上就是无埋点的快速定义,我们不需要等待下次发版,就可以实时观察数据,分析事件。

(2)场景 2

客户的需求是:查看完成注册的用户中,填写实习行业和性别的分布情况。

根据完整埋点方案设计的四要素,我们应逐一确认:

  • 事件:注册完成;
  • 维度:实习行业、性别;
  • 采用无埋点还是埋点指标:很明显,实习行业和性别是与业务相关的指标,我们需要通过埋点采集相关数据;
  • 埋点的触发时机:在注册完成的回调中拿到性别及行业信息;
  • 确认命名:事件——registerSuccess 注册完成;维度——practiceVocation 实习行业、sex 性别。

根据呈现出来的埋点方案文档,我们无需反复沟通,程序员便可以快速地明确业务需求,进行埋点操作。

3.数据校验

数据采集完毕后,还需要进行最终的确认,也就是我们通常所说的数据校验。

对此,GrowingIO 有一套完整的数据校验工具,可以快速定位数据产生的流程。如浏览了哪些页面、是否触发事件 、埋点事件是否与定义字段对应等。

如果发现某个环节出现纰漏,我们就能及时地反映问题、解决问题。

最后,在这里想与大家分享一句话:“柢固则生长,根深则视久”。数据驱动的“根”在于数据采集,只有采集的数据足够准确,我们才能做出正确的决策,推动企业持续发展。

今天的分享就到这里结束了,感谢大家的宝贵时间,希望能对大家有所帮助。

作者:王汉 GrowingIO 高级技术顾问,毕业于北京大学,Extron 认证工程师。服务过奇瑞汽车、中铁建工、滴滴等头部企业,有丰富的技术部署经验。

运营数据采集(如何高效进行数据采集,这里有一套完整方案)
运营那些事儿
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
运营那些事儿
运营那些事儿
发表文章43457
确认要消耗 羽毛购买
运营数据采集(如何高效进行数据采集,这里有一套完整方案)吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接