为了账号安全,请及时绑定邮箱和手机立即绑定

了解机器学习之导论

2018.11.09 21:12 848浏览
  • 最早的机器学习应用-垃圾邮件分辨
    • 传统的计算机解决问题思路:
      • 编写规则,定义“垃圾邮件”,让计算机执行
      • 对于很多问题,规则很难定义
      • 规则在不断变化
  • 图像识别
  • 人脸识别
  • 数字识别

基础概念

数据

  • 著名的鸢尾花数据https:/len.wikipedia.org/wiki/lris flower data set
  • 图片描述
    图片描述
    图片描述
  • 数据整体叫数据集(data set)
  • 每一行数据称为一个样本(sample)
  • 除最后一列,每一列表达样本的一个特征(feature)
  • 最后一列,称为标记(label)
  • (P.S. 大写字母表示矩阵,小写字母表示向量)
  • 本文表征用列向量表示

图片描述
图片描述

特征可以很抽象

图片描述

基本任务之分类任务

  • 二分类
    • 判断邮件是垃圾邮件;不是垃圾邮件
    • 判断发放给客户信用卡有风险;没有风险
    • 判断病患良性肿瘤;恶性肿瘤
    • 判断某支股票涨;跌
  • 多分类
    • 数字识别
    • 图像识别
    • 判断发放给客户信用卡的风险评级
    • 很多复杂的问题也可以转换成多分类问题
      • 自动玩游戏,围棋,无人车,2048
    • 一些算法只支持完成二分类的任务
    • 但是多分类的任务可以转换成二分类的任务
    • 有一些算法天然可以完成多分类任务
  • 多标签分类
    图片描述

基本任务之回归任务

  • 结果是一个连续数字的值,而非一个类别
    • 房屋价格
    • 市场分析
    • 学生成绩
  • 有一些算法只能解决回归问题
  • 有一些算法只能解决分类问题
  • 有一些算法的思路既能解决回归问题,又能解决分类问题。
  • 一些情况下,回归任务可以简化成分类任务
    图片描述

学习方法之监督学习

  • 给机器的训练数据拥有“标记”或者“答案”
  • 图像已经拥有了标定信息
  • 银行已经积累了一定的客户信息和他们信用卡的信用情况
  • 医院已经积累了一定的病人信息和他们最终确诊是否患病的情况
  • 市场积累了房屋的基本信息和最终成交的金额
  • k近邻
  • 线性回归和多项式回归
  • 逻辑回归
  • SVM
  • 决策树和随机森林

图片描述

学习方法之非监督学习

  • 给机器的训练数据没有任何“标记”或者“答案”
  • 对没有“标记”的数据进行分类-聚类分析
  • 对数据进行降维处理
    • 特征提取:信用卡的信用评级和人的胖瘦无关?
    • 特征压缩:PCA
    • 降维处理的意义:方便可视化
  • 异常检测

图片描述
图片描述

学习方法之半监督学习

  • 一部分数据有“标记”或者“答案”,另一部分数据没有更常见:各种原因产生的标记缺失
  • 通常都先使用无监督学习手段对数据做处理,之后使用监督学习手段做模型的训练和预测

学习方法之增强学习

  • 根据周围环境的情况,采取行动,根据采取行动的结果,学习行动方式。
  • 很适合机器人的自我学习

图片描述

其他方向

在线学习和批量学习(离线学习) Online Learning And Batch Learning

  • Batch 不用校正模型
    • 优点:简单
    • 问题:如何适应环境变化?
    • 解决方案:定时重新批量学习
    • 缺点:每次重新批量学习,运算量巨大
    • 在某些环境变化非常快的情况下,甚至不可能的。
  • Online 坏数据怎么办?
    • 优点:及时反映新的环境变化
    • 问题:新的数据带来不好的变化?
    • 解决方案:需要加强对数据进行监控
    • 其他:也适用于数据量巨大,完全无法批量学习的环境。

参数学习和非参数学习 Parametric Nonparametric

  • 参数学习
  • 一旦学到了参数,就不再需要原有的数据集。先假设

图片描述

  • 非参数学习
    • 不对模型进行过多假设
    • 非参数不等于没参数!
    • 不对整个问题做一个建模,不把问题定义为学习参数

思考

  • 数据确实非常重要
  • 收集更多的数据
  • 数据驱动·提高数据质量
  • 提高数据的代表性
  • 研究更重要的特征

图片描述

  • 奥卡姆的剃刀
    • 简单的就是好的
    • 到底在机器学习领域,什么叫“简单”?
  • 没有免费的午餐定理
    • 可以严格地数学推导出:任意两个算法,他们的**期望性能(简单可以理解为平均值)**是相同的!
    • 具体到某个特定问题,有些算法可能更好
    • 但没有一种算法,绝对比另一种算法好
    • 脱离具体问题,谈那个算法好是没有意义的。
    • 在面对一个具体问题的时候,尝试使用多种算法进行对比试验,是必要的。
  • 面对不确定的世界,怎么看待使用机器学习进行预测的结果?
点击查看更多内容

本文首次发布于慕课网 ,转载请注明出处,谢谢合作

3人点赞

若觉得本文不错,就分享一下吧!

评论

相关文章推荐

正在加载中
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消