CentOS7 搭建ELK日志分析系统过程

ELK简介ELK是什么？    elk是三个开源软件的缩写，分别是：Elasticsearch、Logstash、Kibana 。由于Logstash 客户端太占用资源，对服务器的要求比较高，后来FileBeat出现了 ,解决了资源问题，官方也推荐这个工具。    Elasticsearch：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能    Logstash：日志收集，分析，过滤并转化到对应的存储库    Kibana：一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据    Filebeat：监控日志文件、转发。 需要收集数据的服务器端需要安装这个架构图如上图你可以看出来，FileBeat 将数据 通过队列 发给 Logstash ，然后Logstash 在将数据给 Elasticsearch 存储。kibana结合nginx 提供web界面环境准备软件名称安装的端IPelasticsearch管理端服务器192.168.0.1Logstash

【框架发布】Python Flask CMS V2

缘由    我在工作过程中发现，我们经常会开发很多相同类似的东西，每一次都是从零开始，既浪费时间还没有意义，基本都是复制。我个人认为我们应该把很多基础东西开发好 以后所有其他的应用系统都基于这个上面进行开发，既可以让基础越来越丰富，也可以统一维护。    学过我Python视频课程的应该知道，我都是用了同一个自己整理过的 Flask 框架。用的多了慢慢就整理和优化了很多技巧。技术选型    有很多人肯定有疑问，为什么我们要选择Flask，其实这个我觉得是根据个人使用习惯的，网上也有很多人对比了不少框架的。我个人用过Django 和 Flask 这两个框架，其实我觉得区别没有那么大，一定要说一个理由：Flask 比较容易入门，可以根据自己的想法改成自己想要的模式。    很早以前使用Django唯一的感觉是配置有点混乱（相对比Flask），但是经过这么多年的使用，其实觉得混乱或者说是使用的混乱 主要还是由于经验不够导致的，现在如果让我用Django 我依然会想各种方法改成我想要的模式    所以总的来说，使用

乔布斯Jobs管理调度平台

缘由    由于公司系统相对来说还是挺多的，定时任务也非常多，一直使用crontab配置存在几个问题。这几个问题只要使用该方式应该都会深有感触。问题一管理维护问题：定时Job太多，不清楚总共有多个Job，不知道每个Job到底是谁写的主要功能是什么。如果Job部署在多台服务器那就更要人命了问题二调度监控问题：crontab在一定程度上解决了调度问题，但是调度不光光是运行状态。在实际工作中还会关注，什么时间运行的，运行了多长时间，运行状态，消耗多少内存等等技术选型    该项目使用python语言开发，其实用php等其他语言也是可以的。但是对于这一类运维类系统 使用Python开发比较容易维护些。而使用Python的话,我们也可以基于前面介绍的 Flask CMS V2框架。该Jobs系统应该也算是第一个基于我们 Flask CMS V2 开发的应用项目了。功能特性教程文档Jobs（乔布斯）管理调度平台 教程中心：点击传送门 效果展示

疫情之下贩卖焦虑

为什么写这个？        其实很早以前都想写一个这样的文章，只是最近有看到了很多那种 “互联网行业35岁要被企业优化掉？” 等这类贩卖焦虑的故事，所以赶紧抽着有点想法和时间写写，这种故事的讨论最后有不少就是 销售各种课程等等。今年疫情导致各行各业都受到了冲击，大家自身都感觉到大环境不好要什么好好提升自己，所以疫情之下 贩卖焦虑的就更多了。焦虑是什么？        那么焦虑的本质是什么？ 我个人认为是缺乏安全感和控制力度。就拿  “互联网行业35岁要被企业优化掉？”  这个焦虑来讲，由于人人都会有35岁 特别是离这个岁数比较近的，如果身边再有年纪大点的确被优化掉的。那么这种体验你会感觉非常强烈。再加上不少大厂的确是做了调整优化这件事情。在大量的信息缠绕在我们身边时候 我们就会被这种 贩卖的焦虑 影响。        那么为什么我们会被影响？ 你试想想 如果你马上要被干掉了，家庭收入没有了，你一想好像自己除了这个撒都不会干。你焦虑不焦虑，是不是一下子被惊醒了。其实这个问题一直存在得，只是因为市场行情好 大

CTBox：网址收藏夹

CTBox 是一个很轻量的网络收藏夹。只要在浏览器上安装插件，就能在任意网站收藏内容。你可以直接点击插件图标来收藏网页缘由        随着工作时间越来越长，收藏的网址越来越多，并且会越来越多。我个人有非常喜欢收集喜欢文章的网址。最开始用的Chrome浏览器收藏夹，用到最后发现完全找不到网址了。其实主要问题如下几个收藏太麻烦，浏览器的收藏快捷键还要多次确认和选择分类各种网站收藏资源比较分散，最后搞得自己都忘记了在哪里收藏过各种收藏网站搜索太麻烦，要么有的就没有想法        其实以前我不会开发chrome插件，但是直到我使用过一些插件之后给了我思路和想法，就决定开发一个插件来解决我遇到的问题。Chrome 插件本身是挺好学的，看看我收藏的几个文章基本就会了CTBox特性右键收藏，一键必达，非常方便选中文字收藏：给链接加描述快速进入收藏夹支持搜索，编辑，分享，删除，加星安装教程        点击这里进入教程：教程传送门计划人工分类：将收藏进行分类实现手机分享收藏（有难度，可能先实现android ）机

【悲催】机房跑路，服务迁移之路

起因        最近总是遇到悲催的事情，这次的事情更悲催，某机房提供服务供应商跑路了，早上10点多通知 晚上6点断电，我X你的仙人板板。抱怨归抱怨，但是烂屁股的事情还得擦。 没办法只能换机房了，幸好早都勾搭上了一家高防供应商。但是迁移也是一个麻烦事情。窘境需要备份的文件过大        目前这边公司的主要提供广告服务，所有各种图片，静态页面比较多，图片总共差不多80G（分别是30G、50G 两个文件夹）待迁移的服务器过多    大概负责3个公司，高防机器总共5台。在相对差不多8个小时（其实不到6个小时，因为整理好这些机器的业务之后差不多12点了）要处理好这些迁移事情，时间总体来说肯定是不够的。Nginx配置太混乱    nginx的配置完全是没有章法，没有规范能操作

【分享】分层明确高度定制化的 Python Flask MVC

缘由    Python在AI,AR VR这块使用越来越广泛。同时在Web方面也有很多成熟的框架。而我本身由于使用Flask 比较多，个人认为就是比较简单，容易入手，可定制化强。这里我将我经过多个项目多次迭代的自认为还可以的框架结构整理出来。方便自己可以更容易创建新项目。    大家也知道我录制了两门关于python的课程都是基于这个定制化的分层结构的框架开发系统的目录结构. ├── api  api存放 │   ├── controllers 所有的C层放在这里 │   ├── interceptors 拦截器相关 ├── application.py  封装的Flask的全局变量，包括app，数据库等 ├── common 存放公用部分 │&nbs

【2019年度】焦虑-抉择-重新出发-感恩

多变的2019        时间是一个伟大的发明，未来总会成为过去，对时间逝去的感慨，同时也对未来充满了希望。被度量的2019年过的真快，这一年可以分几个词来聊聊：焦虑、抉择、重新出发、感恩焦虑        相信大家今年都在经历的各种变动和被变动：动荡的一年。其实在2018年底通过身边的一些事情和消息，感觉到危机很大。对于一个家庭大部分(70%左右)收入靠定时工资的，需要支撑各种开销来讲。无论是正在进行时、还是未来的 变动和 被变动，对于我们这种普通家庭都是折腾不起的。当对未来的恐惧不知道如何解决的时候就会非常焦虑。抉择        所谓穷则思变，既然看到未来的一些路，总不能坐以待毙等死。所以在2018年底就在各种找各路朋友和长者咨询。从2018年底差不多半年多的时

MySQL在线修改大表神器：PT工具

缘由最近我们公司的慢SQL特别多，特别是某个固定的表，每天基本都有好几千的慢查询，但是这个表有特别大，不能随意加索引，索引我们就需要一个工具来协助我们进行改DDL的时候，不影响业务，那就是 PT工具效果图使用场景在线数据库的维护中，总会涉及到研发修改表结构的情况，修改一些小表影响很小，而修改大表时，往往影响业务的正常运转，如表数据量超过500W，1000W，甚至过亿时在线修改大表的可能影响在线修改大表的表结构执行时间往往不可预估，一般时间较长由于修改表结构是表级锁，因此在修改表结构时，影响表写入操作如果长时间的修改表结构，中途修改失败，由于修改表结构是一个事务，因此失败后会还原表结构，在这个过程中表都是锁着不可写入修改大表结构容易导致数据库CPU、IO等性能消耗，使MySQL服务器性能降低在线修改大表结构容易导致主从延时，从而影响业务读取pt-online-schema-change介绍pt-online-schema-change是percona公司开发的一个工具，在percona-toolkit包里面可

使用Python Flask 开发微信机器人

缘由由于我个人有个小博客，然后还录制了一些课程，所有就建立了对应的微信群，但是微信群的二维码是变化的，总不能经常换了。所以就想搞一个微信机器人，自动加 微信，自动拉群。废话不多说，先上图效果展示大家可以试试效果，效果相当棒需求其他人可以通过二维码加我好友 自动通过好友通过之后 主动发送一些邀请入群链接和介绍信回复 邀请 、加群 可以发送邀请入群链接所有聊天数据都要存储起来 并且可以通过Web展示根据用户输入信息 回复相关内容技术选型Python3Flask：轻量级的MVC 框架itchat ：实现微信API相关接口MySQL：存储相关微信内容图灵机器人：调用API实现主动场景回复架构本人没有使用flask 默认的MVC方式，使用了我自己实现过后的：结构分层明了的MVC框架 。结构如下每一个文件夹都有自己明确的作用├── application.py ├── common │   ├── libs │   └──&nbs

号外!! Python Flask 从入门到精通 上线啦

缘由在前面写过一个文章 人生苦短，我用Python  给大家简单介绍了一下Python 能做什么。然后广告了下当时的新课程 Python Flask构建微信小程序订餐系统 。该课程上线之后有些同学反馈没有详细讲解Flask的基础知识 和 课程改造的框架为什么这么来的。基于该原因，重新录制了一门新课程：Python Flask 从入门到精通 。希望大家可以喜欢大纲课程简介本次课程相对来说比较基础，但是麻雀虽小，五脏俱全。重点是从头到尾的给大家梳理讲解整个Flask 框架的完整知识，并通过演变的方式给大家讲解如何打造构造层次分明的高可用MVC框架。主要是告诉大家为什么？而不是就这样用，让大家明白原理。课程是在双系统下面给大家讲解的，大家可以根据自己喜欢的操作系统进行学习：Windows 和 Linux CentOS7。而Python 我们选择的是3.7版本学习路径一个要求大家一定要根据自己的需求，千万不要和买书一样，买了很多不看，其实这样是浪费。当然如

编程浪子我的个人知识树

开场白一转眼工作将近7个年头，时间过得好快哇。年少不懂事，上天惩罚我，婚也结了。不要暗恋哥，哥已是传说。恍恍惚惚过了这么多年，想整理下个人技能树，也提醒下自己我的技能树经常看到各种技能树，那我也来一发，我认为作为一个研发人员，不应该只会自己领域内的东西，不要让自己的路越走越窄。熟话说：技多不压身，有精力就多学点了。如下图（点击打开大图：我要看大图）个人实战过得系统工作这么多年，做过了不少东西，想到就列出来，其他零星小的就不说了个人博客地址：http://www.54php.cn/ 虚拟化Vagrant ：http://www.54php.cn/default/26.html RBAC：http://www.54php.cn/default/42.htmlYii2打造后台+微信全栈图书商城： http://book.54php.cn/Python3 + Flask构建微信小程序订餐系统：https://food.54php.cn/快速上手Linux 玩转典型应用：http://c

tp5, laravel, yii2我该选择哪个

为什么写这篇文章 我个人有一个技术群，里面学什么框架的都有，经常会有人问 某某功能 在 哪个框架怎么实现，用什么框架实现更好，说道这里我大家讲一个同类型问题的笑话 某女:你能让这个论坛的人都吵起来，我今晚就跟你走。 某软件工程师:PHP是最好的语言！ 某论坛就真的炸锅了，各种吵架../.. 某女:服了你了，我们走吧，你想干啥都行。 某软件工程师:今天不行，我一定要说服他们，PHP必须是最好的语言 大家注意重点哦（可能有同学会说 活该单身狗 哈哈），这边文章的标题 就和这

Ngrok NatApp 微信本地化调试利器

何为 内网 转 外网 从名称 我们就可以 猜到大概的意思。内网指的是我们的家庭网络（特指亚洲地区了），主要是我们亚洲地区公网IP不够每个家庭分配，所以就有了大的局域网内网。外|公网指的 可以直接被访问的网络 为什么需要 为什么会 有 “内网转外网的工具“的需求？个人觉得原因有如下 在我国的国情下面，基本都是内网IP，不像美国，个人家庭都是公网IP了 购买公网IP就相当于要购买服务器，代价有点高 本地化调试：例如微信开发 基于以上的情况，就有各位大大们发明的各种方法

如何同时管理51cto,csdn,sina,163,oschina,cnblogs博客

我们技术人一般都会有自己的一个博客，用于记录一些技术笔记，也期望自己的笔记文章可以让更多人知道。 如何让更多人知道自己的博客？ 搜索引擎收录，用户通过关键词搜索可能会进入 内容运营，但是一般技术人为了文章做运营的人应该没有几个 通过大流量同类型网站导流量 我是使用 方法一 和 方法三，方法一就不说了，互联网人都知道了，但是小网站效果不会太好了。方法三就是充当复读机：复制 和 粘贴 到其他技术网站 “复制 和 粘贴 到其他技术网站” 收起来容易，这TM就是个体

合格PHP工程师的知识结构

工作有些年头了，从学校开始自学ASP，偶然因为PHP一个功能爱上它（ASP上传代码要写好多，PHP基本几行就搞定了），从此走上了 ”拍黄片“ 之路。结合这几年的工作经验，说说我对PHP工程师知识结构的理解 PHP的运行环境 连环境都搞不起来，就是你有多么喜欢PHP，那也是白搭，开始我们大多会使用集成环境软件例如xampp，wamp。随着知识的增加慢慢要学会自己搭建运行环境，例如 Linux（Ubuntu/Centos），Apache/Nginx，Mysql，Redis/Memcached,PHP-FPM 基础知识 PHP编程：变量、常量、字符串