CentOS7 搭建ELK日志分析系统过程

ELK简介ELK是什么？    elk是三个开源软件的缩写，分别是：Elasticsearch、Logstash、Kibana 。由于Logstash 客户端太占用资源，对服务器的要求比较高，后来FileBeat出现了 ,解决了资源问题，官方也推荐这个工具。    Elasticsearch：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能    Logstash：日志收集，分析，过滤并转化到对应的存储库    Kibana：一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据    Filebeat：监控日志文件、转发。 需要收集数据的服务器端需要安装这个架构图如上图你可以看出来，FileBeat 将数据 通过队列 发给 Logstash ，然后Logstash 在将数据给 Elasticsearch 存储。kibana结合nginx 提供web界面环境准备软件名称安装的端IPelasticsearch管理端服务器192.168.0.1Logstash

【框架发布】Python Flask CMS V2

缘由    我在工作过程中发现，我们经常会开发很多相同类似的东西，每一次都是从零开始，既浪费时间还没有意义，基本都是复制。我个人认为我们应该把很多基础东西开发好 以后所有其他的应用系统都基于这个上面进行开发，既可以让基础越来越丰富，也可以统一维护。    学过我Python视频课程的应该知道，我都是用了同一个自己整理过的 Flask 框架。用的多了慢慢就整理和优化了很多技巧。技术选型    有很多人肯定有疑问，为什么我们要选择Flask，其实这个我觉得是根据个人使用习惯的，网上也有很多人对比了不少框架的。我个人用过Django 和 Flask 这两个框架，其实我觉得区别没有那么大，一定要说一个理由：Flask 比较容易入门，可以根据自己的想法改成自己想要的模式。    很早以前使用Django唯一的感觉是配置有点混乱（相对比Flask），但是经过这么多年的使用，其实觉得混乱或者说是使用的混乱 主要还是由于经验不够导致的，现在如果让我用Django 我依然会想各种方法改成我想要的模式    所以总的来说，使用

乔布斯Jobs管理调度平台

缘由    由于公司系统相对来说还是挺多的，定时任务也非常多，一直使用crontab配置存在几个问题。这几个问题只要使用该方式应该都会深有感触。问题一管理维护问题：定时Job太多，不清楚总共有多个Job，不知道每个Job到底是谁写的主要功能是什么。如果Job部署在多台服务器那就更要人命了问题二调度监控问题：crontab在一定程度上解决了调度问题，但是调度不光光是运行状态。在实际工作中还会关注，什么时间运行的，运行了多长时间，运行状态，消耗多少内存等等技术选型    该项目使用python语言开发，其实用php等其他语言也是可以的。但是对于这一类运维类系统 使用Python开发比较容易维护些。而使用Python的话,我们也可以基于前面介绍的 Flask CMS V2框架。该Jobs系统应该也算是第一个基于我们 Flask CMS V2 开发的应用项目了。功能特性教程文档Jobs（乔布斯）管理调度平台 教程中心：点击传送门 效果展示

CTBox：网址收藏夹

CTBox 是一个很轻量的网络收藏夹。只要在浏览器上安装插件，就能在任意网站收藏内容。你可以直接点击插件图标来收藏网页缘由        随着工作时间越来越长，收藏的网址越来越多，并且会越来越多。我个人有非常喜欢收集喜欢文章的网址。最开始用的Chrome浏览器收藏夹，用到最后发现完全找不到网址了。其实主要问题如下几个收藏太麻烦，浏览器的收藏快捷键还要多次确认和选择分类各种网站收藏资源比较分散，最后搞得自己都忘记了在哪里收藏过各种收藏网站搜索太麻烦，要么有的就没有想法        其实以前我不会开发chrome插件，但是直到我使用过一些插件之后给了我思路和想法，就决定开发一个插件来解决我遇到的问题。Chrome 插件本身是挺好学的，看看我收藏的几个文章基本就会了CTBox特性右键收藏，一键必达，非常方便选中文字收藏：给链接加描述快速进入收藏夹支持搜索，编辑，分享，删除，加星安装教程        点击这里进入教程：教程传送门计划人工分类：将收藏进行分类实现手机分享收藏（有难度，可能先实现android ）机

MySQL在线修改大表神器：PT工具

缘由最近我们公司的慢SQL特别多，特别是某个固定的表，每天基本都有好几千的慢查询，但是这个表有特别大，不能随意加索引，索引我们就需要一个工具来协助我们进行改DDL的时候，不影响业务，那就是 PT工具效果图使用场景在线数据库的维护中，总会涉及到研发修改表结构的情况，修改一些小表影响很小，而修改大表时，往往影响业务的正常运转，如表数据量超过500W，1000W，甚至过亿时在线修改大表的可能影响在线修改大表的表结构执行时间往往不可预估，一般时间较长由于修改表结构是表级锁，因此在修改表结构时，影响表写入操作如果长时间的修改表结构，中途修改失败，由于修改表结构是一个事务，因此失败后会还原表结构，在这个过程中表都是锁着不可写入修改大表结构容易导致数据库CPU、IO等性能消耗，使MySQL服务器性能降低在线修改大表结构容易导致主从延时，从而影响业务读取pt-online-schema-change介绍pt-online-schema-change是percona公司开发的一个工具，在percona-toolkit包里面可

号外!! Python Flask 从入门到精通 上线啦

缘由在前面写过一个文章 人生苦短，我用Python  给大家简单介绍了一下Python 能做什么。然后广告了下当时的新课程 Python Flask构建微信小程序订餐系统 。该课程上线之后有些同学反馈没有详细讲解Flask的基础知识 和 课程改造的框架为什么这么来的。基于该原因，重新录制了一门新课程：Python Flask 从入门到精通 。希望大家可以喜欢大纲课程简介本次课程相对来说比较基础，但是麻雀虽小，五脏俱全。重点是从头到尾的给大家梳理讲解整个Flask 框架的完整知识，并通过演变的方式给大家讲解如何打造构造层次分明的高可用MVC框架。主要是告诉大家为什么？而不是就这样用，让大家明白原理。课程是在双系统下面给大家讲解的，大家可以根据自己喜欢的操作系统进行学习：Windows 和 Linux CentOS7。而Python 我们选择的是3.7版本学习路径一个要求大家一定要根据自己的需求，千万不要和买书一样，买了很多不看，其实这样是浪费。当然如

如何同时管理51cto,csdn,sina,163,oschina,cnblogs博客

我们技术人一般都会有自己的一个博客，用于记录一些技术笔记，也期望自己的笔记文章可以让更多人知道。 如何让更多人知道自己的博客？ 搜索引擎收录，用户通过关键词搜索可能会进入 内容运营，但是一般技术人为了文章做运营的人应该没有几个 通过大流量同类型网站导流量 我是使用 方法一 和 方法三，方法一就不说了，互联网人都知道了，但是小网站效果不会太好了。方法三就是充当复读机：复制 和 粘贴 到其他技术网站 “复制 和 粘贴 到其他技术网站” 收起来容易，这TM就是个体

合格PHP工程师的知识结构

工作有些年头了，从学校开始自学ASP，偶然因为PHP一个功能爱上它（ASP上传代码要写好多，PHP基本几行就搞定了），从此走上了 ”拍黄片“ 之路。结合这几年的工作经验，说说我对PHP工程师知识结构的理解 PHP的运行环境 连环境都搞不起来，就是你有多么喜欢PHP，那也是白搭，开始我们大多会使用集成环境软件例如xampp，wamp。随着知识的增加慢慢要学会自己搭建运行环境，例如 Linux（Ubuntu/Centos），Apache/Nginx，Mysql，Redis/Memcached,PHP-FPM 基础知识 PHP编程：变量、常量、字符串