慕课网 20200330 es+geo+baidu-map 直播视频与文字版笔记

视频版本 视频已经由慕课网上传至B站，免费高清，地址为：https://www.bilibili.com/video/BV1Lz411b7cN。 以下都是文字版笔记。 《Elasticsearch极速入门与基于百度地图的geo地理位置搜索》 1. es介绍 互动：什么是搜索： 百度谷歌，都是搜索引擎。 垂直搜索，站内，比如淘宝京东站内搜索商品。 什么是ES： Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎，底层基于lucene。 可以存储文档，用于海量数据检索 可以近实时的分析数据 可扩展性（几百个节点甚至上千）相当强

人人都要关注的分布式系统中的CAP理论

分布式系统 相信大家看过我的文章或者视频的，都应该知道什么是分布式系统，分布式系统就是一个系统由多个组成部分共同构成，用户的一个请求可能会经过多个不同的计算机节点之后，通过运算才会把结果响应给用户，那么这个请求所经过的不同的几个系统就是分布式系统。对于用户来讲，你是不是分布式系统，对他来讲是透明的。参考如下图： 图中就表示一个用户在经历下单过程会经过多个系统，他们是分布式的，共同组成一个整体。 CAP 概念 在分布式系统中，必定会遇到CAP，如下： C（Consisten

Hystrix 简单聊聊断路器/熔断器

Hystrix 简单聊聊断路器/熔断器 什么是Hystrix Hystrix 在SpringCloud中负责服务熔断服务降级的作用。 Hystrix 存在的目的也是为了防止过多超时导致系统瘫痪。比如多个服务之间的相互调用，如下图： 订单->商品->积分->日志 订单->支付->日志 商品->风控->日志 服务之间相互调用，假设某个链路上的某个服务比如日志服务超时了，不可被调用，那么其他的服务全部卡死，导致崩溃。 举一个生活中的例子： 在家里，我开了很多电器，这个时候如果没有一个保护装置的话，由于某个电器过载，

大白话告诉你倒排索引是个啥

引子 很多搜索引擎都是基于倒排索引，比如luncene，solr以及elasticsearch
正排索引 聊倒排搜索之前先来看看正排索引，正排其实就是数据库表，他通过id和数据进行关联，如下： 数据id 数据内容 1001 苹果公司发布iPhone 1002 地球引力起源于苹果 1003 iPhone屏幕碎了 1004 我在苹果商店维修屏幕 1005 我刚刚吃了苹果 我们可以通过搜索id，来获得相应的数据，也能删除数据。你买了一本书，书的目录其实也是正排搜索。 假设现在我要搜苹果俩字，那么他会对这张表格中每一行的数

VMware克隆CentOS7.X网卡修改为静态IP与分布式环境内网互通原则

在虚拟机vmware中往往克隆一个新的系统后，要去修改静态ip，直接使用的话可能会不尽如人意，ip也是需要管理起来的。在这里以Centos 7.x 为例，centos6.x的网卡静态ip方式可以搜我以前的博客（cnblog）。查看网卡信息ip link showens33 是我的网卡名称，每个人的都不一样，有的也叫eth0，另外一个红框就是你的网卡地址了。把这个网卡地址复制下俩，临时保存：00:0c:29:c8:49:60。执行如下命令，修改网卡地址：vim /etc/udev/rules.d/70-persistent-ipoib.rules把注释打开，再把ATTR{address}修改为你的网卡地址00:0c:29:c8:49:60，修改后如下图：修改ip信息：vim /etc/sysconfig/network-scripts/ifcfg-ens33如下图，把IPADDR修改为你所想要的内网静态ip（需要注意，要和你的网段一致），然后还有一个HWADDR如果没有

RestTemplate + okhttp 实现远程调用

1. 添加依赖 <!-- https://mvnrepository.com/artifact/com.squareup.okhttp3/okhttp --> <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>4.3.1</version> </dependency> 2. 声明 RestTemplate @Component public class WebConfig { /** * 基于OkHttp3配置RestTemplate * @return */ @Bean public RestTemplate restTemplate() { return new RestTemplate(new OkHttp3ClientHttpRequestFactory()); } } 3.

MongoDB-3 GUI客户端工具与用户权限

MongoDB-3 GUI客户端工具与用户权限 引子 不论是mysql或者redis或者es，我们都会使用远程的客户端工具来连接数据库server，那么目前的linux上锁安装的MongoDB就是server端，我们需要有一个客户端来进行可视化的管理，常用的可以使用Navcat来操作，当然使用其他的GUI工具也都行。 GUI 连接 MongoDB 创建连接 填入你的host所在ip，注意需要内网互通 双击连接如果图标可以点亮，说明连接没问题 如下图，创建连接1后，school为数据库，3为集合，也就是创建的表 创建MongoDB用户账号权限

疫情下的远程办公与桌面分享

疫情下的远程办公与桌面分享 远程办公 相信很多小伙伴们正因为这次疫情都窝在家里远程办公吧，我也一样，都在等具体的复工通知，我们暂定会在3月份复工~当然也有可能会提前。那么这次我们来聊聊远程办公。 其实远程办公在很多公司都会有，我也经历过，我曾经在一家美资企业，虽然我们在办公室，但是相对于美国来说，办公室也是远程的，我们所使用的工具也需要远程连到海外通道，开会也是一样远程视频或音频。当然也有部分部门经理级别的人基本上一周只出现1次，其余时间都是远程的。包括我们

MongoDB-2 安装与配置

安装建议 MongoDB 可以在mac/win/linux上安装，我个人建议在linux上安装会更好，这样测试起来更方便。一般来说本地只装mysql或者MariaDB，其余的中间件一律放linux，让电脑软件解耦，毕竟你的电脑不是一直处于工作状态，有时候也是用于娱乐的~ 安装步骤 打开官网：https://www.mongodb.com/download-center/community 选择版本进行下载，在这里就以linux为安装演示 需要注意，4.0.16包含linux 64位版本下载，而4.2.3中暂未包含，当然你要选择其他的linux版本下载也可以，另外最新的4.3.3

MongoDB-1 入门

基础概念 MongoDB 是非关系型数据库，也就是nosql，存储json数据格式会非常灵活，要比mysql更好，同时也能为mysql分摊一部分的流量压力。另外呢，对于非事务的数据完全可以保存到MongoDB中，这些数据往往也是非核心数据。 以下是MongoDB和数据库以及ElasticSearch的术语对比： 数据库 ElasticSearch MongoDB database es库 database table 表 index 索引 collection 数据集合 row 行（记录） document 文档（json） document 文档（json） column 字段列 field 域 fie

SSI 网页内嵌技术

引子 一般来说我们开发网页的时候，大多都会以一个大的HTML页面来做，来开发，来发布，来维护。初期可能就1-2人维护，随着业务发展，功能迭代，一个首页会相当复杂，那么就有可能会有一个团队来维护，首页包含的功能会有很多，比如，轮播图，分类，商品推荐，广告等等，可以看一下京东： 以上三张图中的红框部分，其实都是每个页面中的一个小功能，他们都可以单独拿出来作为一个单独的页面，随后再嵌入到页面中，如此一来，就更加便于团队的开发和维护了，同时也能提供公用化的功能，减少重复

centos6中安装新版 Elasticsearch 7.x

es出新版了，虽然公司里还是用的老版本，但是本地还是有必要自己安装了玩玩下载地址：https://www.elastic.co/cn/downloads/elasticsearch那么一般来说还是建议安装到linux里，当然选择在win和mac也ok，我们这里以linux安装为主下载完毕以后上传到linux中：安装es之前，务必安装jdk1.8以上，官方说到openjdk也可以，但是没试过，大家可以自行尝试，以下就是官方的依赖说明，怎么安装jdk的，不多说了。。应该都会解压es的tar包： 随后进入解压后es的目录，如下：依次说一下目录结构吧：bin：可执行文件在里面，运行es的命令就在这个里面config：配置文件目录lib：依赖的jarlogs：日志modules：模块plugins：可以自己开发的插件data，这个目录，没有，自己新建一下：mkdir data，这个作为索引目录随后进入conf目录，使用vim 修改 elasticearch.yml修改集群名称，默认是elasticsearc

下一个风口，蚂蚁金服的10个亿，想好怎么用了吗？

蚂蚁金服自推出支付宝小程序以来，已经逐渐稳定，开发者以及用户也倍增，现在出了一个sts计划，提供10亿的扶持资金，只要你有想法有创意，那么人家就会投你！要开发一个产品必须得基于技术，咱们慕课网出了一套新课程，那就是《全网首发 商业级支付宝小程序入门与实战》非常贴近实际啊，哈哈先来看一下课程里的 支付宝授权登录吧众所周知啊，微信小程序是可以通过微信本身授权后再登录，平台可以拿到微信用的的账号相关信息，然后保存到数据库中，那么同理在支付宝小程序开发过程中，登录功能的设计也可以如此上图是官方提供的时序图，具体看一下流程：在小程序端获取 auth_code，目的是获取用户授权把第一步获取的授权码 auth_code 传到咱们自己的后台，也就是说后台需要编写一个接口，方便小程序端的传入后台拿到这个 auth_code 之后，需要调用支付宝的授权平台，从而获取用户的唯一 token 以及 支付宝的userid，都是唯一的，调用的接口为 [alipay.system.oauth.token]获取到userid后，判断一下

地图组件上的自定义区域叠加层显示 ArcGis + GeoJson

最近参与了一个IOT环境项目，需要对某个城市的某几个区域做环境监控与治理，其中就用到了地图叠加层的功能，粗看很复杂，其实很简单，先来看一下效果，然后再来讲一下如何实现的：中间的黄色轮廓线包括的几块区域就是通过gis坐标和百度的叠加层来实现的，来简单说一下实现的步骤吧：首先需要有每块区域的坐标集合，这个主要是由工程队施工人员，在当地采集坐标，采集后会生成相应的文件给到开发人员这些文件主要为如下：其中这个红框内的文件是我们最需要的文件，他是一个shp文件，轮廓文件，开发人员需要转换为一个jsonlist，才可以使用，那么如何转换呢，首先，要有个知识点需要说明，就是工程队测量的坐标系，可能并不是我们真正要使用的经纬度，因为不同坐标系的规范导致地图坐标显示不正确，所以需要转换坐标系为国标（也就是1984）这时需要下载并且安装 ArcGis 这个软件，专门用于处理地图的，安装完毕后，如下，然后打开红框中的ArcMap参考如下图，按照层级打开ArcToolBox，这时一个工具箱，里面有坐标系的转换工具首先使用“Defi

Netty＋MUI从零打造一个仿微信的高性能聊天项目，兼容iPhone/iPad/安卓

要说到微信，我相信是个人都应该知道，几乎人人都会安装这款社交APP吧，它已经成为了我们生活中不可缺少的一份子。我记得我上大学那会刚接触Java，做的第一个小项目就是基于J2SE的聊天室，使用Java编写websocket异常麻烦，而且又是同步阻塞的，性能非常差。随后几年经过工作的历练，接触了netty，使用netty可以搭建一款高性能的服务器，他封装了很多api，也提供NIO 和 AIO，当然可以用来编写websocket。其实我一直想着自己能不能开发一款APP，用于聊天，用于社交呢？苦于不会iOS和安卓，而且要开发多个不同手机端，开发成本太高了。后来接触了MUI，发现这个前端框架非常牛，可以说是最接近原生APP的UI框架了。那么结合以上三点，我想咱们也能模仿微信来做一款简单的聊天app吧？随后就有了这套实战，我们通过下图简单了解一下课程大纲以及体验版内容在看下图，其中包含了app的体验二维码，只不过是安卓版的，ios没有发布到appstore，不过也能从导学可以看到相应的演示。整体实战内容分为5大块，简单

小程序之仿抖音短视频与分布式云部署的那些事儿~

闲来无聊，从过年一直到现在一直沉醉在抖音里，基本每天都被抖音占据着，晚上睡前也要刷到零点才躺下。。。后来媳妇说，要不你开发一个差不多的得了，这么一说我就来劲了，为啥不做成课程呢？ 后来就慢慢着手去实现短视频的项目，思考着小程序也很火啊，也在风口啊，那么要不一起结合来一下呗，于是就拿小程序来做前端，当然后端提供的接口使用springboot来做当然更好。来看一下最后完工的一下效果图吧： 那么当然除了手机端还有后端管理平台，一般来说任何的网站或者app都会有自己的管理后台

Spring 一二事（10） - annotation AOP

先贴出POM的内容，这个毕竟是用的maven来简单构建的 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.springframework.samples</groupId> <artifactId>maven-spring002-aop</artifactId> <version>0.0.1-SNAPSHOT</version> <properties> <!-- Generic proper

Spring 一二事（9） - xml 形式的 AOP

AOP在spring中是非常重要的一个 在切面类中，有5种通知类型： aop:before 前置通知 aop:after-returning 后置通知 aop:after 最终通知 aop:after-throwing 异常通知 aop:around 环绕通知 <bean id="personDAO" class="com.lee.spring002.aop.xml.PersonDAOImpl"></bean> <bean id="transaction" class="com.lee.spring002.aop.xml.Transaction"></bean> <aop:config > <!-- 切入点表达式，作用：确定目标类 --> <!-- spring 会自动检测这个表达式下的类是否是切面，如

Spring 一二事（8） - annotation 形式的 MVC

1 <!-- 2 component:把一个类放入到spring容器中,该类就是一个component 3 在base-package指定的包及子包下扫描所有的类 4 --> 5 <context:component-scan base-package="com.lee.spring012.scan.mvc.annotation"></context:component-scan> IStuDAO.java 1 package com.lee.spring012.scan.mvc.annotation; 2 3 public interface IStuService { 4 public void saveStu(); 5 } PersonAction.java package com.lee.spring012.scan.mvc.annotation; import javax.a

Spring 一二事（7） - annotation

之前的文章大多都是一带而过，一方面比较简单，一方面不是用的注解形式 在企业开发中，主要还是使用的注解来进行开发的 1　　 <!-- 2 component:把一个类放入到spring容器中,该类就是一个component 3 在base-package指定的包及子包下扫描所有的类 4 --> 5 <context:component-scan base-package="com.lee.spring011.scan"></context:component-scan> 主要还是用 @Resource，另外2个不常用 package com.lee.spring010.DI.annotation; import javax.annotation.Resource; impor

Spring 一二事（6） - IOC MVC 简易搭建

<bean id="personAction" class="com.lee.spring008.IOC.DI.MVC.PersonAction"> <property name="stuService" ref="stuService"></property> </bean> <bean id="stuService" class="com.lee.spring008.IOC.DI.MVC.StuServiceImpl"> <property name="stuDAO" ref="stuDAO"></property> </bean> <bean id="stuDAO" class="com.lee.spring008.IOC.DI.MVC.StuDAOImpl"></bean> IStuDAO.java 1 package com.lee.spring008.IOC.DI.MVC; 2 3 public interface IStuDAO { 4

Spring 一二事（5） - 依赖注入

<!-- 依赖注入的装配过程 --> <bean id="person" class="com.lee.spring007.di.xml.setter.Person"> <property name="pid" value="1001"></property> <property name="name" value="nathan"></property> <property name="stu" ref="student"></property> <property name="list"> <list> <value>a</value> <value>b</value> <value>c</value> <value>d</value> <value>e</value> </list> </property> <property name="map"> <map> <entry key="number" value="111"

Spring 一二事（4） - 单例

spring bean配置后再默认情况下是单例的，如果需要配置可以选择 prototype, request, session和global session 在配置spring mvc的action时，可以对action使用 prototype <!-- singleton: 默认单例 prototype: 多例 request ，session和global session: 只适用于web程序 --> <bean id="scope_prototype" class="com.lee.spring005.scope.Scope" scope="prototype"></bean> <!-- destroy-method 一般在数据源的时候用到，关闭容易后就销毁连接 --> <bean id="initDes

Spring 一二事（3） - 别名

别名就是可以通过另外一个名字来访问如下，已有bean：helloWorld3，那么定义别名（alias ）后，就能使用“abc”来访问 1 　　<bean id="helloWorld3" factory-bean="helloWorldFactory" 2 factory-method="getInstance"></bean> 3 4 <!-- 别名 name 属性值要和 id 一致 --> 5 <alias name="helloWorld3" alias="abc" /> 6 <alias name="helloWorld3" alias="测试" /> HelloWorld hello = (HelloWorld)context.getBean("abc");

Spring 一二事（2）

静态工厂方法及实例工厂的使用： applicationContext.xml： <!-- factory-method 是指调用静态工厂方法 --> <bean id="helloWorld2" class="com.lee.spring002.createobject.method.HelloWorldFactory" factory-method="getInstance"></bean> <!-- 实例工厂 --> <bean id="helloWorldFactory" class="com.lee.spring002.createobject.method.HelloWorldFactory2"></bean> <!-- factory-bean 是一个工厂bean --> <bean id="helloWorld3" factory-bean="helloWorldFactory"

Spring 一二事（1）

简单介绍一下spring，一方面带新手入入门，一方面自己也重温一下第一个小工厂先暂时不用maven，下一个会用maven来来配置jar包只需要一个，spring版本为2.5（暂时为2.5，后续更新，基本核心都是一样的），引入spring.jar到lib，如下：在src下新建applicationContext.xml文件，结果如下：内容如下：<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"       xmlns:context="http://www.sprin

Apache Commons 常用工具类整理

其实一直都在使用常用工具类，只是从没去整理过，今天空了把一些常用的整理一下吧 怎么使用的一看就明白，另外还有注释，最后的使用pom引入的jar包 public class ApacheCommonsTest { /** * 从一个entity中把属性复制进另外一个entity中 * * @throws Exception */ @Test public void testCopyNewBean() throws Exception { StuForm form = new StuForm("lee", 18, 1, new Date(), true); Stu stu = new Stu(); BeanUtils.copyProperties(form, stu); Syst

基于Spring 4.0 的 Web Socket 聊天室/游戏服务端简单架构

在现在很多业务场景（比如聊天室），又或者是手机端的一些online游戏，都需要做到实时通信，那怎么来进行双向通信呢，总不见得用曾经很破旧的ajax每隔10秒或者每隔20秒来请求吧跟webservice来相比，Web Socket可以做到保持长连接，或者说强连接，一直握手存在两端可以互相发送消息互相收到消息，而webservice是一次性的，你要我响应就必须要请求我一次（黄盖：“请鞭挞我吧！”）注：浏览器需要使用高版本的chrome或者Firefox，Tomcat使用8先来了解一下基本概念一、WebSocket是HTML5出的，是一种协议，也就是说原版的HTTP协议没有变化的，又或者说这两者压根就是不一样的东西，HTTP本身就不支持强连接二、Websocket是什么样的协议，具体有什么优点首先，Websocket是一个持久化的协议，相对于HTTP这种非持久的协议来说。举个栗子吧，简单来说1) HTTP的生命周期通过Request来界定，也就是一个Request 对应一个Response，或者多个Request

解决springboot + mybatis-pagehelper 参数查询不分页的bug

官方git上给出的配置是这样的：这样做分页，如果仅仅支持一个查询，没问题，但是如果你带参数查询了，那就分页会出问题把这行注释了即可reasonable是指的让分页更加的合理化，尼玛，，，加了反而不合理了，真是神坑，一开始以为是springboot版本的问题，结果咧。。

云服务器 - 安装单机版redis

本文适用于云服务器安装，也适用于本地虚拟机中安装，linux版本为：centos6.5redis大家都知道，服务器上必不可少的，那么在生产环境下安装的步骤和虚拟机里也是差不多的官网上最新稳定版是3.2.9，而4.0的更新比较大，但是比几个还是beta版嘛下载并且上传压缩包至云服务器，解压缩：tar -zxvf redis-3.2.9.tar.gz安装gcc编译环境，如果已经安装过了，那么就是 nothing to doyum install gcc-c++  进入redis目录并且编译：至此redis3.2.9安装成功，我们来启动一下，这个是前台启动，启动后你不能做任何事，相当于是一个控制台，被block住了复制redis.conf 到安装目录然后修改它，主要修改的地方如下：1. 注释掉原来这行，并且把IP改为 0.0.0.0，不改的话只能本机访问redis，外机是无法访问的2. 修改启动方式为后台：3. 按需修改端口 4.修改密码：相关命令：关闭redis

云服务器 - 安装zookeeper单机环境

由于电脑中病毒，被人当做肉鸡挖矿了。。。所以很多东西都要重装， 之前没有写过zk如何安装，所以安装的时候顺便来记录一下分享出来 第一步上传zk安装包到服务器，如图： 解压： tar -zxvf zookeeper-3.4.11.tar.gz 拷贝到如下： cp zookeeper-3.4.11 /usr/local/zookeeper -rf 在环境变量中配置zk： 进入zookeeper目录： cd /usr/local/zookeeper/ 进入conf目录，并且复制一份配置文件并且重命名： 打开这个文件 vim zoo.cfg 配置数据文件路径，以及日志文件路径，注意不要

腾讯云SpringBoot部署 + HTTPS配置

springboot可以打包为jar和war，jar不多说了，最近的一个工程需要打包为war发布，大致说一下吧： 先看一下项目的大致结构： 第一步，需要排除springboot自带的tomcat插件 然后，不要忘记所要打包的那个工程吧默认的jar改为war 第三步，由于我们使用了外部tomcat，所以需要加入servlet依赖： 第四步，在application的同级包下创建新的启动类： 那么最后一步，就是打包了： 打包成功之后，访问我们的域名： http://imoocdsp.com/imooc-video-mini-api/hello 如上图，说明项目已经发布成功

分布式系统的那些事儿 - SOA架构体系

咱们今天继续说说分布式系统的那些事。 我们现在动不动就讲分布式吧？那么SOA是不是必须得聊一聊呢？ 面向服务的架构，简称SOA，他是基于服务组件的，把原来那种一个大型应用程序的不同的功能拆分为一些接口，通过这些接口串联起来。 这么做的好处是： 1、重用性大大提高 2、明确了接口的服务定义规则 3、定义了自家公司的api标准 4、降低系统耦合性 5、无状态HTTP SOA不是技术也不是什么标准，他是一个架构，每个公司对SOA的架构体系都不同，有简单的也有复杂的，更有超越荣耀王者那边

什么是分布式系统中的幂等性，zookeeper与dubbo

最近很多人都在谈论幂等性，好吧，这回我也来聊聊这个话题，光看着俩字，一开始的确有点一头雾水，语文不好嘛，词太专业嘛，对吧 现如今我们的系统大多拆分为分布式SOA，或者微服务，一套系统中包含了多个子系统服务，而一个子系统服务往往会去调用另一个服务，而服务调用服务无非就是使用RPC通信或者restful，既然是通信，那么就有可能再服务器处理完毕后返回结果的时候挂掉，这个时候用户端发现很久没有反应，那么就会多次点击按钮，这样请求有多次，那么处理数据的结果是否要统一呢？那是肯

不错位的java .class 反编译工具推荐

我们经常会反编译看一些class文件，但是反编译出来的文件里面会有很多杂乱的东西 一直以来都是用的idea来反编译的，只要把class文件往里面一拖就行了 这么用没问题，用来看看源码什么的都OK 但是服务和服务之间我们经常依赖别人的jar包，有时候版本不对或者代码不对都需要定位问题， 这个时候idea就不行了，比如日志里报了一个空指针错误，显示依赖的jar包在130行，如下： 打开idea查看，这130完全不是问题啊，，，想想应该是反编译的错位问题 那么这个时候我们推荐使用 jd-gui 进行反编

在springmvc中使用hibernate-validate，对实体类进行验证

在springmvc.xml中加入如下代码，这是用于配置错误信息的，也可以作为国际化消息 <!-- 国际化配置 --> <bean id="localeResolver" class="org.springframework.web.servlet.i18n.CookieLocaleResolver" /> <bean id="messageSource" class="org.springframework.context.support.ReloadableResourceBundleMessageSource"> <property name="basenames"> <list> <value>classpath:resource/ValidationMessages</value> </list> </property> <property name="useCodeAsDefaultMes