很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
这是彭文华的第179篇原创
大家好，我是彭文华。最近写技术文章比较少了，再不写，都得被各位大数据架构师朋友骂了
。
我有次跟朋友聊怎么建大数据体系，从数据采集开始，一般用 Flume 监控和收集，然后用 Kafka 传输和分发，一边到实时，一边到离线巴拉巴拉。
朋友以前是搞 Java 的，他就问：“我不太会用 Kafka ，换成别的行么？”我楞了一下，我听说过几个 MQ 的名字，但是研究不深啊，只知道 Kafka 因为吞吐量巨高，所以用在大数据环境。
但是其他 MQ 行不行，我没太深究，反正都是 MQ ，应该也行吧。当时我就“嗯”了一下，说“应该也行”。
回来我就仔细研究了一下，这就把研究成果给各位唠一唠。文末有最强kafka资料包，可直接下载。
MQ是啥？
MQ，Message Queue，消息队列。啥意思呢，就是存储各种消息信息的一个队列。再通俗一些，就是一个专门把消息信息排好队，放在那里等着别人来读取的场景设计的工具。就像~~这个：
左边一个个的黑点点，就是一条条的消息，在那里排好队。这就是消息队列了。消息队列中的消息最终的宿命就是被前面的应用（大嘴）消费掉（吃掉）。
之所以要有消息队列，是因为前面生产信息的速度不一样，有快有慢。
好比小时候，妈在那边剥瓜子仁儿，我们坐在这边吃。咱妈就是一个生产产品的角色，我们就是消费产品的角色。
妈妈剥瓜子有些时候快，有些时候慢。我们也有些时候在那里干等着，也有些时候要出去玩。前后两个角色之间是脱节的。如果想要这边的瓜子刚剥出来就马上被吃掉，那就得两个角色钉在这边，这多费劲啊！
妈妈多聪明啊，她可以趁我们不在，多剥一些瓜子，把仁儿放在碗里。我们玩累了回到家，就能一个一个吃了。
但是这样有个弊端，就是早些时候剥的，就可能坏掉，或者味道就不够嘎嘣脆了。那咋办？那最好按顺序吃呗，先把最早剥好的吃掉，这样不就能最大程度防止各种问题么？
咱把整个场景挪到信息系统里，这就是一个消息队列了。前面生产信息的角色，就是生产者，后面使用信息的就是消费者。中间按顺序排列着的，就是一条条信息。这上面所有的角色，就组成了消息队列的三要素：生产者、消费者和消息（服务）。
消息队列能干啥？
其实消息队列的作用在上面已经说清楚了。其实就是对生产者和消费者进行解耦。
没有 MQ 的时候，生产者和消费者必须一对一，或者定期轮询。这样要么浪费资源，要么时效性不高。
而有了 MQ 机制之后，有生产任务了，生产者再过来干活也不迟。消费者也不用老等着，或者过一会来看一次，而是在队列那头等着触发就行。来一个信息，就消费一个。
这样同时满足了资源最小化和效率最大化。你看这些大牛的脑子就是灵光，聪明的不要不要的。用 MQ 这个机制，能把资源和效率这两个天生矛盾的事情同时满足。
而且，MQ 还有一个作用：它不怕任务积压。妈妈剥了一堆瓜子，孩子吃的慢，那没关系，妈妈不用等孩子吃完再剥，可以先放到干净的桌子上摆好就是了。你感觉好像是很简单，理所应当的。但是没有 MQ 的时候就像是手递手搬东西，下家手上的东西没放下，你上家的东西就没法递出去。
所以 MQ 还有一个能力，就是超高的信息传输能力，术语叫吞吐量。
为啥是Kafka？
其实 MQ 有很多。Apache 的 Active MQ ，Rabbit的 Rabbit MQ 、阿里开源的 Rocket MQ 、大数据霸主 Kafka ，其他的还有 NSQ、 Zero MQ 、 Beanstalkd 等等。
国内大厂除了阿里，也有大神自研过 MQ ，也都还不错。美团基于 RabbitMQ ，弄了一个 MOS ，云消息队列，顿时就高大上了有没有？滴滴也基于 Rocket 弄了一个 DDMQ ，用的也挺好的。
但是，不管别人怎么弄怎么搞，就是无法撼动 Kafka 在大数据领域的无敌姿态。啥地方都用它，接数据用，分发数据用，最后实时数仓还用 kafka 当“存储”。
我估计 kafka 自己都有点蒙，我本来就是个 MQ ，最后咋还变成数据库了呢？
这就得说到 Kafka 的核心特性了， Kafka 的绝招之一：数据传输速度超级快。前面说过，有一个指标来评判消息队列的效率，就是吞吐量 TPS Transaction per Second，每秒钟传输的事务数据量。
Kafka 的 TPS 能到多少呢？1秒钟，百万级！不过这个没有对比就显示不出有多厉害。
阿里的 Rocket MQ 的 TPS 多少呢？十万级。Apache 的 Acitive MQ 呢？万级。
这是啥概念？碾压啊，有没有？量级的碾压！！！！无敌之姿！
不过，这还不算完。Kafka 通过各种巧妙的设计，最大可能的提升他的可靠性，对大数据场景非常友善。比如：
它有副本概念，可以开启多个副本，保证数据安全；
用跳表思想，设计 Log 和 Index 文件，保证超高效率；
用稀松索引，提升消费者端读取 Offset 时访问物理存储的超高效率；
用零拷贝技术，减少数据在不同环节的数据来回复制，从而提升写入和读取的超快速度。
总之一句话：kafka 就是为了性能而生的。就这个特性，牛不牛？
不过，讲真， Kafka 也有一个不太友好的地方，就是它为了达到性能，需要付出丧失小部分高可靠的特性。
如果选择高并发、高性能、高吞吐，那么 kafka 可能会有数据丢失、重复消费等风险。这种情况在 OLAP 分析场景无所谓了，反正根据大数原则，少几条数据根本不影响计算结果，尤其是百分比那种。
但是，对于跟金额相关的任何场景，高可靠才是第一优先保证的。你不能说在某宝上下个订单，一亿单都成功了，只有1单莫名其妙丢失了，这是不能容忍的。唉，成也萧何，败也萧何！
总结
MQ：Message Queue，消息队列。一种解耦工具，用在数据/信息生产和消费上下游之间的解耦工具。
市面上有很多 MQ ， Rocket MQ 、 Acitve MQ 、Rabbit MQ 、 Kafka 等等。
Kafka 由于其超越所有 MQ 的超高性能，占据大数据生态圈绝对霸主地位，无人可以撼动。其显著特征就是快！
其核心设计思想有：顺序读写、跳表、稀松索引、零拷贝。
Kafka 为了实现超高性能，必须要牺牲部分可靠性。因此只适合在可容忍（极小概率数据重复、丢失等）的场景。
而交易等对可靠性非常高的场景，只能选择 Rocket MQ 等工具。
扩展阅读：《史上最强Kafka资料包书+视频+面试题》下载方式：关注本公众号“大数据架构师”，后台回复“kafka”即可下载。也可以加我微信：shirenpengwh，咱私聊。
本资源从网上下载，只限于研究使用，勿用于商业。如有不妥，请联系本号删除。
配合以下文章享受更佳
One ID中的核心技术ID-Mapping究竟是怎么实现的？
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)