很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
前段时间，很荣幸能参加云栖大会，并和大家分享了《小米大数据运维管理体系的建设和实践》，给议题分为两个部分，第一部分是聊聊大数据运维数字化转型相关的内容，看看运维层面如何做到化繁为简，打造极致效率的；第二部分，会给大家介绍一下小米大数据的技术架构，大家可以从中了解到小米怎样应对海量数据挑战的。
服务定位
为了帮助大家理解，我们先来简单聊一聊小米服务的架构。整个业务架构按照云计算的分层模型来说分为三层，依次是 Iass 层、Pass 层、Sass 层。小米的 Iass 层是一个混合云的现状，涉及 IDC、公有云、网络等资源，小米的 Saas 层不仅包含战略业务手机 * IOT * 汽车，还包括互联网、电商等数百个业务线。大数据作为 Pass 层的一员，向下对接基础资源，向上承接业务的数据需求，提供离线报表、实时数仓等多种场景化能力，进一步帮助业务沉淀数据资产，提升整体数据效率。同时，大数据是的集团数字化底座，起到中流砥柱的作用。
大数据服务架构
整个小米的大数据服务是立足于 x86 和 ecs 之上的自下而上分为4层，依次是数据采集层、数据存储层、数据计算层、数据平台层。
数据采集层：主要使用自研的 LCS 和以 Talos 为代表的消息队列组合去实现的，这一块也会在后面的分享中展开讲述
数据存储层：各类开源和自研存储引擎，包含我们的文件存储HDFS、KV 存储 HBase、对象存储 Ceph 等等；其中 Pegasus 是小米自研的，目前在 apache 已经开源。
数据计算层：小米使用 Yarn 作为统一的资源管理，基于 Yarn 之上提供了批处理、流处理多种计算引擎，比如我们常见的MapReduce、Spark、Flink 等；除此之外提供丰富的 Olap 引擎, 满足即席查询和检索需求。
数据平台层：我们内部称之为数据工场，主要提供一站式的数据开发和数据管理能力
小米大数据业务发展非常迅速，已经覆盖国内海外多个区域。现已达到千+集群，数万节点的规模，在存储总量上已经近 EB，计算任务30w/天。
大数据运维转型挑战
如此数据规模，给服务运维带来了很多挑战，接下来，我们重点聊一聊。
识别到问题后我们内部经过充分讨论，结合小米长期处于混合云的状态，发起了大数据运维中台-轻舟的整体规划。轻舟的主线是通过建设通用的基线能力、打造极致的垂域能力，来彻底贯通服务的生命周期。
轻舟的整体能力结构是两能力+三中心。
垂域能力层是贯穿服务的生命周期的，从服务的创建、运营到消亡，运营是我们日常工作花费时间精力最多的部分，包含服务升级迭代、机器管理、巡检管理等等
在数据上为了解决孤岛问题，我们的解决方案是数据集成、架构解耦。通过构建大数据的一体化运维数据集市，收敛运维周边的所有数据，在数据源头和数据使用方之间做了一层解耦。在数据集市层我们制定了数据规范，将运维数据进行建模和分层处理。最后针对现有的数据源进行ETL调度，最终实现数据统一存储和使用。
新的数据架构统一了运维数据体系，解决数据孤岛问题的同时，降低数据使用门槛，目前整套数据体系已经应用到所有的大数据服务当中，真正做到了数出一孔。再有整个数据场景是闭环的，复杂度由 O(n^2) 变成O(n)，并且核心数据分析逻辑可复用。整个新的数据架构是以数据场景为中心，取代之前以人为中心。
轻舟-发布中心
轻舟的发布中心，通过调度编排+低代码的模式，去灵活定义工作流。同时依托模版将 SOP 进行沉淀，将个人经验转化为组织能力。下图就是发布中心的工作流模版，我们将执行系统和自定义脚本抽象为操作池。在调度编排上定义了多种逻辑区域，如我们的单次执行区，循环区和异步执行区。
目前整套正在逐步推广到所有大数据服务中，并且在一些场景中实现了变更的无人值守，效率提升30%。后续整个发布中心也会在现有基础上继续优化和迭代，打造全局互联互通，最终实现全流程自动化
在运营中心中，我们结合数据和混合 ops 的理念，重点解决协同、服务差异和经验化等多个核心痛点。目前整体的效果还是不错的，比如在机器故障处理上已经实现了全流程自动，覆盖了95%的大数据服务，年均自动化处理机器故障近万次。在容量管理上，通过数据趋势的分析，覆盖全场景的容量的检测，降低大量的人工介入；在巡检管理上，通过将风险量化打分，进一步固化了巡检标准和处理流程。
此外还有环境管理、配置管理，目前整个运营中心还在持续建设和完善中。
核心数据链路
接下来是第二部分，大数据的架构实践。
小米的核心数据链路，是以消息队列 Talos+ 接入转储这样的组合，作为数据总线去实现数据从端到端的打通。各类原始数据，通过 Agent 的采集方式，进入到消息队列中，同时也支持基于 binlog 的存量和增量采集。在转储层一般通过的统一 transfer 模块，将数据灌入其他大数据的存储引擎中，供进一步使用。
目前小米半数以上的数据都是通过这套方案接入的，整套流程做了产品化的设计，用户可以基于平台可自由定义数据链路。
实时+离线湖仓架构
小米在数仓这个方向上也经历了基于 Hadoop 的离线数仓、Kappa 实时数仓、Lambda 架构数仓的过程。最新的数仓体系是基于数据湖iceberg+flink+spark 构建的离线+实时数仓。结合上面提到的，数据经过 MQ，最终进入到数据湖当中数仓的每一层之间通过 spark 或 flink 方式进行 etl 建设。
同时小米的 olap 引擎经过改造可直接查询湖中数据。整个方案在性能上效果表现很好，相比历史架构，其复杂度更低。由于了数仓存储层的统一和 ztsd 压缩算法的升级，在存储上也有很大的优化。
HDFS Tiering 冷热数据分层
上面提到的数据湖 iceberg 的底座也是基于 HDFS 的，这里我们聊聊HDFS 的数据架构实践。
一般业界实现中，为了实现数据分层的目的，会使用固态盘、机械盘和高密度存储的方式。在小米内部实现中，为了进一步压缩成本，自研了一套HDFS Tering 的架构，将冷数据直接上云管理。
下图就是整体的架构图，可以看到后台会有一个 mover 程序自动的将HDFS 冷数据的转储到阿里云 OSS 上。随后更新 Namenode 上的元数据，实现文件属性到block到对象的变化。同时对用户透明，在架构上增加了 proxydn 模块。
目前整套方案，已经累计冷备了200+PB 数据，数据成本降低80+%。
Lindorm引入
Lindorm引入（一）
为了支撑小米 IOT 的战略，解决业务海量数据索引+事务的需求。小米历史是基于封装 HBase Coprocessor 实现的自研存储，我们内部称之为SDS。
但随着数据规模不断上涨，暴露了很多架构问题，比如基于范围分片，failover 时间慢，依赖链路多等等。同时无法支撑业务的时序数据需求；此外 SDS 在开发维护成本上也非常高昂。
经过我们选型后，阿里云的 Lindorm 是非常符合我们需求的，在图中我们可以看到，Lindorm 兼容 HBase、Hadoop 等协议，提供了宽表引擎的同时，还提供了时序等多种引擎。
与此同时结合多级混合存储、Serverless 等多种特性，可以解决很多遗留问题。小米内部测试后性能还是蛮不错的，符合我们的整体需求。
图中就是整体的迁移架构，我们为 IDC 到云间打通百G的网络链路
服务层面，SDS 和 Lindorm 之间会提前建立好数据同步链路，保证 SDS 和 Lindorm 都是最新数据
为了最小化业务改动成本，提供了sds proxy 的组件，将数据代理到 lindorm 上，最终实现业务迁移。
大数据事件云图
作者简介：
刘志杰，小米大数据运维负责人/SRE 专家，曾就职于百度、电信行业公司，有丰富的大数据、运维工程和数据库实践经验。
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)