很可惜 T 。T 您现在还不是作者身份,不能自主发稿哦~
如有投稿需求,请把文章发送到邮箱tougao@appcpx.com,一经录用会有专人和您联系
咨询如何成为春羽作者请联系:鸟哥笔记小羽毛(ngbjxym)
开篇前,笔者啰嗦两句。前几篇文章,收到一些朋友反馈,你的文章不太好理解,能不能写简单易懂点?嗯,我已经在努力了。说实在的,写一个观点,比写系统性的文章,好写太多了。还是在说下我的坚持吧:我希望我的文章,是能解决部分人的知识焦虑问题,并且看完后是能指导行动的。如果你觉得太晦涩了,有可能你不是这部分人;如果是,建议收藏起来,空了再读一下或找我一起探讨共同成长。来,学海无涯苦作舟。
一、导语
这部分分3个点讲述,为啥要写这篇文章、阅读注意事项及全文内容框架。
1、为啥要写
笔者并不是什么人工智能界的大牛,倒是接触了些厉害的前辈,因此顶多就是入门吧,或者刚临门一脚。因此,写这篇文章是有私心的:以教为学,通过系统梳理1年来,所学习、所思考的以及所实践的零散知识点,以便能够高效地指导日常工作。如果对你有些许帮助,我深感欣喜。
2、阅读注意事项
跟大家提前交代下,避免有所误解。文章讲得并不是AlphaGo是如何一步一步战胜柯洁的,也不是图像识别算法实现原理。本文目的是通过串联大数据工作中各知识模块,以帮助大数据产品经理推动工作落地。因此:
2.1 侧重人群
① 刚入门的大数据产品经理(偏业务端)
② 工作中有应用土壤公司的产品经理
③ 有计划往这大数据行业进行学习的产品经理
2.2 文章内容
① 内容范围涉及非常大,笔者也很担心可能会失去重点,所以在每个章节尽可能都给出重点概念;
② 因为专业术语偏多,我尽可能举例通俗化,难理解的可跳过,收藏后再慢慢啃硬骨头
2.3 笔者期望
期望目标人群看完后,对开展大数据产品工作所需的能力模型有宏观认识,同时能够指导下一步学习行动。
3、行文框架
本文将从3个方面讲述,人工智能行业是怎么样的、大数据产品应该具备的软实力和硬技能,以及推荐学习的内容合集,见如下:
二、人工智能是什么
入门先入行,首先了解下到底什么是人工智能。该章节讲从三方面讲述,什么是人工智能,发展历史以及人工智能的应用场景。第二章节不会非常深入,点到即止,想详细了解可以看我推荐的书籍及文章。
1、什么是人工智能
人工智能,是大家常说的AI,全称为:Artificial Intelligence。维基百科是这么解释的:人工智能,任何能够感知其环境并采取行动以最大化其成功实现目标的机制的设备。通俗点理解就是,机器能够做一些类似人类的行动,因为它像人所以被赋予了智能两字。大牛对人工智能的分类有如下三种(来源网络)
① 分析智能(弱人工智能):产生世界的认知表征,并使用基于过去经验的学习来为未来的决策提供信息。
② 人类启发智能(强人工智能):包括认知元素,人类情感、理解以及在决策中考虑它们
③ 人性化智能(超人工智能):显示了所有类型的能力(即认知,情感和社交智能)的特征,能够在与他人的交互中自我意识和自我意识。
2、发展历史
回看人工智能这个领域的发展,真的是跌宕起伏的50年啊。就好比一个妃子,忽然得宠,春风得意;忽然被打入冷宫,受尽折磨。为什么近些年这么火,得益于移动互联网沉淀了海量的数据和云计算能力的蓬勃发展。这段历史我不展开,大家记住两点就好。
2.1 起源及人工智能之父
1956年在达特茅斯学院的一个研讨会上,阿瑟·萨缪尔(人工智能之父)等人和他们的学生向会议展示了:一个具有自学习能力的西洋跳棋程序,通过大量分析,该程序能够识别“好棋”和“坏棋”,并不断提高弈棋水平,并把阿瑟·萨缪尔战胜,震惊四座。此时,阿瑟·萨缪尔发明了“机器学习”一词
2.2 关键的事件
① 50年代中后期的基于神经网络的“连接主义”
② 80年代的决策树学习信息,仍为常用的机器学习技术
③ 21世纪初的多层神经网络,降低机器学习者的准入门槛
(这里看不懂没关系,可跳过)
3、人工智能应用
人工智能的应用可谓是涉及了:交通、金融、医疗、政府、军事等等几大行业,分别举个例子:
交通:自动驾驶,比如无人机、无人车
金融:供需规则的智能投顾服务和发欺诈决策引擎
医疗:智能医疗会有几个方面,机器人、智能诊断、医学影像等
政府:大数据下的智慧城市
军事:军用无人机
4、推荐学习
人工智能知识:维基百科,有时间可以好好读读上面的文献。
https://en.wikipedia.org/wiki/Artificial_intelligence
书籍:《人工智能》国家人工智能战略行动抓手
三、大数据产品的能力模型
正如前文所描述的,目的能把日常的工作做成。笔者认为,大数据产品的能力模型应该包括两方面:软实力和硬技能。所谓,软硬兼施才能拿下。
1、软实力
要做好大数据的工作,建议你向两种人学习,研究员:具备研究思维,指挥家:具备项目管理能力
1.1 做一个研究员
这里强调的是一种思维模式,有一种研究者的心态。内容思考框架如脑图所示,为了让大家能够理解,我举个例子。
① 案例:老板把你叫到办公室说:小李子,你看看,我们app首页的内容都没什么好看的,老是放这些东西,你想个办法解决下。
② 笔者的分析思路会是如下
a 抽取问题主干就是:老板不想点首页内容。
b 问题的本质:人与内容连接问题
c 生产链:内容生产者、平台、内容消费者。
d 所以用大数据解决:建立人和内容的有效连接。从内容生产者、平台及内容消费者,都可以入手。
e 确定核心观察指标为:浏览点击率,CTR。
f 确定行动优先级:根据当下产品阶段、运营人力情况,内容端可以做内容爬取、归集、建模、平台端可以做信息流类的个性化推荐。
1.2 做一个指挥家
为啥会强调这个项目管理的能力,主要一点是,大数据产品涉及的系统会非常之多,比如:业务系统、数据平台、模型层、服务分发层等,作为应用的业务应用端,一方面对各系统都应该有所了解,另外一方面推动事情落地,还得要具备较强的项目管理能力。
项目管理的知识:推荐学习《PMBOK指南》丛书,有专门的PMP证书认证考试的。虽说不是给目前敏捷开发量身定做的。但也很有用处。重点关注3各方面:时间管理、干系人管理和风险管理。我在这里就不展开了,有空可以专题写写。
2、硬技能
不仅软实力要强,硬技能也要杠杠的。笔者认为,在做大数据产品的你应该掌握以下3个硬技能:数学知识、大数据系统知识及大数据算法。
2.1 数学知识
在数据知识积累方面,建议学习:统计学和线性代数,以下我分别讲讲为啥要学以及学哪些?
2.1.1 统计学
① 定义:是收集、分析、表达和解释数据的一门科学
② 为什么要懂
因为人工智能是要从海量数据挖掘,分类、预测的,以便产生价值的。这个不懂点,做起来会比较吃力喔
③ 划重点
清楚数据产生价值各环节知识点,数据样本怎么采集,怎么清洗、采取什么样的分析方法、怎么可视化、怎么验证等等,都需要懂一些
2.1.2 线性代数
① 定义:研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组
② 为什么要懂
因为很多的模型模型都会将特征向量化,多维、等等,不懂点在看算法的时候,像是在看天书。
③ 划重点
先看看大学数学里面的线性代数吧,虽说笔者也觉得比较难。
2.1.3 推荐学习
①《统计学》第6版,中国人民大学出版社
② 大学线性代数教材
2.2 大数据系统
有了一定的数学知识,我们再来看看大数据的系统架构有哪些知识点。主要分两部分:系统架构和数据库知识
2.2.1 系统架构
大数据系统框架,大都分为:底层数据、机器学习(算法层)、模型层、服务层、应用层。
① 底层数据:大数据平台,负责将所有业务系统数据及网上第三方数据采集,并对数据进行清洗、结构化并分类存储,这一层尤为重要,数据是根基,是生命之本,所以大厂牛逼就在这里。
② 机器学习(算法层):这一层算法工程师会在上面输出很多算法,有离线的和在线的。后面将讲到常见的算法及其局限性
③ 模型层:各类数据将根据业务目标建立特征服务、用户画像、商品画像,这里是需要算法和工程支撑的。
④ 服务层:负责根据算法、业务规则进行召回,各算法单元进行融合重排序的过程,有推荐引擎、调度引擎
⑤ 应用层:业务系统的后端及前端系统,比如大家平时用的app
2.2.2 数据库知识
知道了整体的系统架构,还要多了解下大数据下的相关数据库知识,不然跟开发都接不上话。
① 数据存储方面:
a 大数据存储方式:分布式系统、NoSQL数据库、云数据库,大家有兴趣去网上看看
b 了解公司的数据仓库:有哪些类型的数据,用户行为数据、交易数据等
c 数据处理引擎:(摘自百度百科)
Flink:Apache软件基金会开发的开源流处理框架,分布式流数据流引擎
Kafka:一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据
Hadoop:分布式系统基础架构,HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算
② 数据加工:
Spark:专为大规模数据处理而设计的快速通用的计算引擎
Hive:基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能
2.2.3 推荐学习
书籍《美团机器学习实践》、《机器学习》周志华、《推荐系统实战》
2.3 算法应用及局限性
为方便学习,贴脑图如下:
2.3 人工智能延伸学习
如果真的要学深入,建议你研究多一些,叫思维学科,目前与社会科学、自然科学并行,成为3大学科之一,见脑图如下
四、推荐内容合集
上面讲解了比较的内容,都有一些推荐,在这里给大家整理如下,方面大家行动起来。
bingo!终于写完了,对我自己来说,通过整理、分享,方向性已经很明确了,也知道往哪些方面学习。不知道你看了之后是什么感受?欢迎来找我探讨喔。
本文为作者独立观点,不代表鸟哥笔记立场,未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问,请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
1)反对宪法所确定的基本原则;
2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
5)煽动民族仇恨、民族歧视,破坏民族团结;
6)破坏国家宗教政策,宣扬邪教和封建迷信;
7)散布谣言,扰乱社会秩序,破坏社会稳定;
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法规禁止的其他内容;
2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
1)轻蔑:贬低、轻视他人及其劳动成果;
2)诽谤:捏造、散布虚假事实,损害他人名誉;
3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
6)谩骂:以不文明的语言对他人进行负面评价;
7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
8)威胁:许诺以不良的后果来迫使他人服从自己的意志;
3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
2)单个帐号多次发布包含垃圾广告的内容;
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息,主要表现为:
1)包含自己或他人性经验的细节描述或露骨的感受描述;
2)涉及色情段子、两性笑话的低俗内容;
3)配图、头图中包含庸俗或挑逗性图片的内容;
4)带有性暗示、性挑逗等易使人产生性联想;
5)展现血腥、惊悚、残忍等致人身心不适;
6)炒作绯闻、丑闻、劣迹等;
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息,主要表现为:
1)可能存在事实性错误或者造谣等内容;
2)存在事实夸大、伪造虚假经历等误导他人的内容;
3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。
6. 传播封建迷信,主要表现为:
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
2)求推荐算命看相大师;
3)针对具体风水等问题进行求助或咨询;
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;
7. 文章标题党,主要表现为:
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
2)内容与标题之间存在严重不实或者原意扭曲;
3)使用夸张标题,内容与标题严重不符的。
8.「饭圈」乱象行为,主要表现为:
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序
9. 其他危害行为或内容,主要表现为:
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
2)不当评述自然灾害、重大事故等灾难的;
3)美化、粉饰侵略战争行为的;
4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)