-
机器学习的典型应用:
(1)关联规则:啤酒+纸尿片,购物篮分析
(2)聚类:用户细分精准营销
(3)朴素贝叶斯:垃圾邮件检测
(4)决策树:风险识别
(5)ctr预估:互联网广告:百度的前多少个词条(商业广告)(按照点击率排序)
(6)协同过滤:推荐系统(淘宝购物车推荐)
(7)自然语言处理:情感分析(对文本抓关键情感词),实体识别(提取文本主要数据,人名等)
(8)深度学习:图像识别
(9)更多应用:语音识别,人脸识别,手势控制,智慧机器人,实时翻译
查看全部 -
解决问题的框架: 一:确定目标 业务需求;知道要做什么。 数据;学习的基础。 特征工程;ETL阶段。 二:训练模型(重点) 定义模型;确定算法。 定义损失函数;找出算法的偏差。 优化算法;对算法进行优化。 三:模型评估 交叉验证;将不同的算法带入同一类数据中,验证效果。 效果评估;可以看出几个算法之间具体的差别、效果。查看全部
-
《概率论》《数据统计》是机器学习的基石 传统的统计学,抽取一定量的样本然后 进行概率统计,然后得到结论 之后进行假设检验 传统的统计学受运算能力的限制,所以是用抽样的方式; 而现在计算能力足够强,就不需要采用抽样的方式了。 做数据分析要对数据进行量化,才方便计算、比较。 传统统计:抽样-描述统计-结论-假设检验-推断 机器学习不受计算量的限制,直接跳过抽样 统计学受限于计算能力,依赖于采样的方法,再反作用于原来的数据。步骤:抽样-->描述统计-->结论-->假设检验。 现在无需考虑数据量的问题,无需抽样技术,直接全样。可利用可视化技术来观察数据。要进行数据分析,需要先进行量化,用模型拟合规律,函数-->函数曲线-->拟合。高维度时很难用可视化的方法,只能用数学运算。查看全部
-
2、解决业务问题不同 数据分析,报告历史上发生的事情。 机器学习:通过历史上发生的事情,来预测未来的事情。 3、技术手段不同 数据分析:分析方式是用户(数据分析师)驱动的,交互式分析。分析能力受限于数据分析师的能力,数据属性和维度很有限。 机器学习:分析方式是数据驱动的,自动进行知识发现。数据属性和维度数量级很大。 4、参与者不同 数据分析,分析师能力决定结果,目标用户是公司高层。 机器学习,数据质量决定结果,目标用户是个体。查看全部
-
算法分类1:根据数据有无标签Y进行分类 对样本数据进行一些训练,得到模型,通过模型判断X与Y的关系。 有监督学习:训练数据中已经明确给出了该数据的Y,给数据打上了标签。如:已对邮件打上了“垃圾邮件”、“正常邮件”的标签。包括:分类算法、回归算法。 无监督学习:训练数据并没有Y,数据没有任何标签。典型算法:聚类。 半监督学习:也叫强化学习,数据越多,模型越好。 算法分类2:根据解决问题进行分类 分类与回归、聚类、标注 算法分类3(重要,直指本质) 生成模型:用来说明分类问题。返回的是属于各个类的概率。 判别模型:用来说明分类问题。直接给一个函数,数据输入到函数中,直接返回类别。查看全部
-
机 器 学 习 和 数 据 分 析 的 区 别 数 据 分 析: 1、交易数据、少量数据、采样分析。 2、对数据一致性要求严格,使用关系型数据库sql serve、mysql、oracle。 3、报告过去的事情。 4、分析方法:用户驱动,交互式分析。 5、数据分析师的能力决定结果,目标用户在于公司高层。 机 器 学 习: 1、行为数据、海量数据、全量分析。 2、需要保证数据吞吐量,数据一致性可以打折扣,所以用NoSQL数据库(MongoDB、nosql)和分布式数据分析平台(Hadoop、Spark)。 3、预测未来的事情。 4、分析方法:数据驱动,自动进行知识发现。 5、数据的质量和具体算法决定结果,目标用户在于个体。查看全部
-
机器学习,预测问题(类别-离散 ,数值 -连续),聚类问题 确定目标:业务需求,数据,特征工程(数据预处理,提取特征 70%-数据的提取非常重要),数据可以直接就喂给算法,数据对模型的影响非常大,数据决定了最终的预测结果查看全部
-
什么是机器学习? 利用计算机从历史数据中找出规律;并把这些规律用到对未来不定场景的决策 机器学习的典型应用 关联规则:啤酒+纸尿片,购物篮分析 聚类:用户细分精准营销 朴素贝叶斯:垃圾邮件检测 决策树:风险识别 ctr预估:互联网广告:百度的前多少个词条(商业广告)(按照点击率排序) 协同过滤:推荐系统(淘宝购物车推荐) 自然语言处理:情感分析(对文本抓关键情感词),实体识别(提取文本主要数据,人名等) 深度学习:图像识别 更多应用:语音识别,人脸识别,手势控制,智慧机器人,实时翻译查看全部
-
1.机器学习就是利用计算机从历史数据中找规律,把这些规律用到对未来不确定场景的决策。【关键词 不确定因素 判断 决策 依靠的是计算机的历史数据的规律挖掘】 2.机器学习依靠计算机 数据分析依靠人的经验 知识水平 3.机器学习发展的原动力是 从历史数据找规律用到对未来自动做决定 用数据代替expert【业务逻辑】 经济驱动,数据变现 4.业务系统发展的历史:基于专家经验->基于统计(离线学习)->机器学习(在线学习) 5.典型应用:关联规则 算法 【啤酒和纸尿裤】 6.用户细分精准营销:聚类 算法 【神州大众卡,全球通,神州行,动感地带。。。】 7.垃圾邮件:朴素贝叶斯 算法 8.信用卡欺诈:决策树 9.互联网广告:ctr预估【预测点击率进行排序】 10.推荐系统:协同过滤 11.自然语言处理 情感分析,实体识别 12.图像识别:深度学习 13.更多应用:语音识别,个性化医疗,智慧机器人,私人虚拟助理,手势控制,人脸识别,自动驾驶,视频内容自动识别,机器实时翻译查看全部
-
什么是机器学习查看全部
-
机器学习和数据分析的区别:
一、数据特点不同(数据类别、数据量、数据分析方法)
机器学习:行为数据(如搜索历史、浏览历史、点击历史、评论等);海量分析,一致性要求相对不高;全量分析
数据分析:交易数据(与钱相关,如用户订单、存取款账单、话费账单等)少量数据,一致性要求严格(如银行存取款,数据精准);采样分析
查看全部 -
FP-Growth,关联分析Apriori的改进版,华人发明的。
逻辑回归,推荐,搜索结果的排序。
RF随机森林,梯度提升决策树GBDT,与AdaBoost都属于对决策树的改进。
LDA,文本分析,自然语言处理。
Wod2Vector,文本挖掘,最终是一个结果。
HMM隐马尔可夫模型,CRF条件随机场,自然语言处理,文本挖掘。
查看全部 -
常用算法有很多种,如果每个都学,比较吃力。这就用到框架来统一指导思考问题。
查看全部 -
机器学习和数据分析的区别1:处理的数据不同
数据分析:交易数据、少量数据、采样分析。对数据一致性要求严格,使用关系型数据库sql serve、mysql、oracle。
机器学习:行为数据、海量数据、全量分析。需要保证数据吞吐量,数据一致性可以打折扣,所以用NoSQL数据库(MongoDB、nosql)和分布式数据分析平台(Hadoop、Spark)
交易数据 :电商网站用户下单、银行存取款账单
行为数据:用户的搜索历史、浏览历史、点击历史、评论
查看全部 -
机器学习和数据分析的区别 数据分析:交易数据、少量数据、采样分析。对数据一致性要求严格,使用关系型数据库sql serve、mysql、oracle。 机器学习:行为数据、海量数据、全量分析。需要保证数据吞吐量,数据一致性可以打折扣,所以用NoSQL数据库(MongoDB、nosql)和分布式数据分析平台(Hadoop、Spark)。查看全部
举报