为了账号安全,请及时绑定邮箱和手机立即绑定

大数据

阿里出品的ETL工具dataX初体验 原创

我的毕设选择了大数据方向的题目。大数据的第一步就是要拿到足够的数据源。现实情况中我们需要的数据源分布在不同的业务系统中,而这些系统往往是异构的,而且我们的分析过程不能影响原有业务系统的运行。为了把不同的数据归集起来,我开始了解和接触ETL。本篇介绍阿里的开源ETL工具dataX。 <!-- more --> ETL&&常用工具 ETL,是英文 Extract-Trans...

556浏览 8推荐 0评论

程序员如何快速高效的改 bug?改bug都有哪些技巧?

这个BUG偶尔才能出现,或者只在特定的环境里面出现。 不知道BUG是什么问题造成。 不知道BUG该怎么下手解决。 如果遇到这样的问题可能好几天都不得其解,搞得人焦头烂额,这时候就不要左改一下,右改一下了,而是要冷静下来,先理理头绪。 先根据情况试一下下面的步骤: 换个环境试试 换个用户试试 换个操作方式试试 换一下数据试试 换个浏览器试试 换个版本试试 根据上的情况搞清楚下面这几个问题: 这个BU...

282浏览 1推荐 0评论

Docker中安装配置Oracle数据库

本文使用的OS是Ubuntu([16.04.1_server][1])【注:Ubuntu是安装在vmware虚拟机上的】。 其他的Oracle连接工具:[sqldeveloper-4.1.5.21.78-x64][2] 或[navicat-premium][3]。 docker search oracle ---------------------查看docker仓库中的oracle相关内容。 d...

333浏览 1推荐 0评论

hibernate跟Mybatis/ ibatis 的区别,为什么选择

第一章 Hibernate与MyBatis Hibernate 是当前最流行的O/R mapping框架,它出身于sf.NET,现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。 1.1 Hibernate 简介 Hibernate对数据库结构提供了较为完整的封装,Hibernate的O/R Mapping实现了POJO...

719浏览 9推荐 0评论

干货-MySql5.6性能优化

1.目标 了解什么是优化 掌握优化查询的方法 掌握优化数据库结构的方法 掌握优化MySQL服务器的方法 2.什么是优化? 合理安排资源、调整系统参数使MySQL运行更快、更节省资源。 优化是多方面的,包括查询、更新、服务器等。 原则:减少系统瓶颈,减少资源占用,增加系统的反应速度。 3.数据库性能参数 使用SHOW STATUS语句查看MySQL数据库的性能参数 •SHOW STA...

1185浏览 21推荐 1评论

高并发情况下,我们系统是如何支撑大量的请求的。

优化程序,优化服务配置,优化系统配置 几点需要注意: 尽量使用缓存,包括用户缓存,信息缓存等,多花点内存来做缓存,可以大量减少与数据库的交互,提高性能。 用jprofiler等工具找出性能瓶颈,减少额外的开销。 优化数据库查询语句,减少直接使用hibernate等工具的直接生成语句(仅耗时较长的查询做优化)。 优化数据库结构,多做索引,提高查询效率。 统计的功能尽量做缓存,或按每天一统计或定时统计...

338浏览 2推荐 0评论

基于MapReduce的蓄水池抽样 原创

最近在学习大数据相关的算法,写了很多关于算法方面的博文(怪咖科学),希望也能在慕课网上跟大家分享学习的一些技巧和经验。 问题:现在有一个很大的数据,假设有几千万条但不知道具体有多少条,如何在只遍历一次的情况下,随机取出其中K条数据? 思路: 1.可以将此问题抽象为蓄水池抽样问题。即,先把读取到的前K条数据放入列表中,对于第K+1个对象,以K/(K+1)的概率选择该对象;对于第K+2个对象,以K/(...

188浏览 2推荐 0评论

绝对干货-Redis集群的优化

1.安装Redis3.0 yum -y install cpp binutils glibc glibc-kernheaders glibc-common glibc-devel gcc make gcc-c++ libstdc++-devel tcl mkdir -p /usr/local/src/redis cd /usr/local/src/redis wget http://downloa...

647浏览 3推荐 0评论

漏洞挖局利器-Fuzz技术介绍 原创

模糊测试的定义 模糊测试定义为“通过向应用提供非预期的输入并监控输出中的异常来发现软件中的故障(faults)的方法”。 典型而言,模糊测试利用自动化或是半自动化的方法重复地向应用提供输入。显然,上述定义相当宽泛,但这个定义阐明了模糊测试的基本概念。 用于模糊测试的模糊测试器(fuzzer)分为两类: 一类 是基于变异(mutation-based)的模糊测试器,这一类测试...

250浏览 1推荐 0评论

Python数据挖掘04-BeautifulSoup库 原创

爬虫抓回来的网页一般是个html文件,为了提取文件中的有效信息,就需要对其进行解析。直接采用字符串的方法进行查找、替换固然可行,但是效率很低。这时候就可以请出BeautifulSoup来帮忙了。 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据,官网介绍如下。 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等...

297浏览 1推荐 0评论

Docker容器技术:初学笔记 原创

好久没来了。艾维瑞巴迪。我胡汉三又回来了! 最近公司在用Docker容器技术,顺带整理了一下。 Docker官网 DockerCloud 1.使用docker需要系统root权限,否则提示权限不足 2.常用的docker命令 查看docker信息(version、info) # 查看docker版本 docker version # 显示docker系统的信息 docker info 2.账号以及...

1768浏览 8推荐 3评论

用自己的话简要阐述struts2 的执行流程

Struts 2 框架本身大致可以分为3 个部分:核心控制器StrutsPrepareAndExecuteFilter、业务控制器Action 和用户实现的企业业务逻辑组件。核心控制器StrutsPrepareAndExecuteFilter 是Struts 2 框架的基础,包含 了框架内部的控制流程和处理机制。业务控制器Action 和业务逻辑组件是需要用户来自己 实现的。用户在开发Action...

257浏览 3推荐 0评论

pl/sql存储过程及案例分析

plsql语句块: set serveroutput on; //打开控制台输出的命令 语法: declare 声明部分 begin //执行部分 异常,事物,语句块等 end; 变量的类型 oracle变量类型,oracle数据类型:integer varchar2等 自定义数据类型 1. 定义和列的类型保持一致 v_sal emp.sal%type;-- 和emp表sal列的类型保持一致 2....

344浏览 5推荐 0评论

谈谈我对Spring 的理解

Spring 实现了工厂模式的工厂类(在这里有必要解释清楚什么是工厂模式),这个类名为 BeanFactory(实际上是一个接口),在程序中通常BeanFactory 的子类ApplicationContext。 Spring 相当于一个大的工厂类,在其配置文件中通过<bean>元素配置用于创建实例对象的类 名和实例对象的属性。 Spring 提供了对IOC 良好支持,IOC 是一种编...

298浏览 1推荐 0评论

谈谈我对Hibernate 的理解

面向对象设计的软件内部运行过程可以理解成就是在不断创建各种新对象、建立对象之 间的关系,调用对象的方法来改变各个对象的状态和对象消亡的过程,不管程序运行的过程 和操作怎么样,本质上都是要得到一个结果,程序上一个时刻和下一个时刻的运行结果的差 异就表现在内存中的对象状态发生了变化。 为了在关机和内存空间不够的状况下,保持程序的运行状态,需要将内存中的对象状态保 存到持久化设备和从持久化设备中恢复出对...

178浏览 1推荐 0评论
首页上一页1234567下一页尾页

推荐作者

热门手记

意见反馈 常见问题 APP下载
官方微信