为了账号安全,请及时绑定邮箱和手机立即绑定

大数据

Python多线程----线程池 原创

Python多线程----线程池 需求:假设我们现在有一个多线程项目,每有一个用户连接进来,我们的服务器就会创建一个线程。而我们的服务器最多能够承载100个线程,再多就会崩溃。为了防止恶意用户伪装真实用户构建大量的访问来让我们的服务器崩溃,现在需要对线程数量进行限制,一共只有100个线程,并且当一个用户访问结束以后线程会自动归还,等待下一个用户访问。如果100个线程全部被占用则101个用户进入阻塞...

304浏览 7推荐 1评论

Python多线程之threading.Thread实现 原创

Python多线程之threading.Thread 并行和串行 串行 所谓串行,就好比我们走路一样,一条马路,一次只能过一辆车,这样速度就会很受限制。 并行 理解了串行,并行就更好理解了,就是好多条路。路越多,车流量就越大。 多线程就是并行的一种。当然,实际发生在计算机内部的时候,并不能单纯的理解为多了一条路。因为我们的计算机一个CPU核心,同时只能处理一个任务。在CPU只有一个核心的情况下,多...

115浏览 3推荐 0评论

精通Python爬虫-01-不断前行的蜘蛛 原创

精通Python爬虫-01-不断前行的蜘蛛 声明: 本系列文章原创于慕课网,作者秋名山车神,任何人不得以任何形式在不经作者允许的情况下,进行任何形式的印刷以及销售,转载需注明出处及此声明。 本系列文章更新至少每周一更,将涉及Python爬虫基础,Requests,Scrapy等主流爬虫技术。同时会介绍图片验证码,语音验证码的识别以及我自己设计的一个高并发可扩展易维护的集群爬虫架构。 对文章有任何问...

3056浏览 47推荐 4评论

精通Python爬虫-02-初遇 原创

精通Python爬虫-02-初遇 声明: 本系列文章原创于慕课网,作者秋名山车神,任何人不得以任何形式在不经作者允许的情况下,进行任何形式的印刷以及销售,转载需注明出处及此声明。 本系列文章更新至少每周一更,将涉及Python爬虫基础,Requests,Scrapy等主流爬虫技术。同时会介绍图片验证码,语音验证码的识别以及我自己设计的一个高并发可扩展易维护的集群爬虫架构。 对文章有任何问题请在下面...

2239浏览 23推荐 4评论

写给程序员的 18 幅对联,你能看懂几个? 原创

本文对联纯属虚构,如有雷同关我屁事。 辛酸版 横批:谁能懂我 上联:敲一夜代码,流下两三行泪水,掏空四肢五体,六杯咖啡七桶泡面,还有八个测试九层审批,可谓十分艰难; 下联:经十年苦读,面过九八家公司,渐忘七情六欲,五年相亲四个对象,乃知三番加班两次约会,新年一鸣惊人。 祈福版 横批:鞠躬尽瘁 上联:文档注释一应具全 下联:脊柱腰椎早日康复 生活版 横批:1024 上联:西瓜包子带一斤三个 下联:大...

571浏览 11推荐 1评论

安装RedHat7(手把手教你)

环境说明:win10 ; VM Workstation Pro 12   (1)新建虚拟机,选择自定义 (2)直接下一步 (3)选择稍后安装操作系统 注:也可以选择第二项或者第一项,即选择事先下载好的系统镜像所在路径 (4)选择rhel7 64位 (5)自定义虚拟机名称和位置 (6)根据自己计算机的配置选择处理器 (7)根据自身计算机(物理机)配置,选择虚拟机内存大小,这里是828MB,点击下一步...

135浏览 1推荐 0评论

阿里出品的ETL工具dataX初体验 原创

我的毕设选择了大数据方向的题目。大数据的第一步就是要拿到足够的数据源。现实情况中我们需要的数据源分布在不同的业务系统中,而这些系统往往是异构的,而且我们的分析过程不能影响原有业务系统的运行。为了把不同的数据归集起来,我开始了解和接触ETL。本篇介绍阿里的开源ETL工具dataX。 <!-- more --> ETL&&常用工具 ETL,是英文 Extract-Trans...

1652浏览 11推荐 1评论

Docker中安装配置Oracle数据库

本文使用的OS是Ubuntu([16.04.1_server][1])【注:Ubuntu是安装在vmware虚拟机上的】。 其他的Oracle连接工具:[sqldeveloper-4.1.5.21.78-x64][2] 或[navicat-premium][3]。 docker search oracle ---------------------查看docker仓库中的oracle相关内容。 d...

498浏览 2推荐 0评论

程序员如何快速高效的改 bug?改bug都有哪些技巧?

这个BUG偶尔才能出现,或者只在特定的环境里面出现。 不知道BUG是什么问题造成。 不知道BUG该怎么下手解决。 如果遇到这样的问题可能好几天都不得其解,搞得人焦头烂额,这时候就不要左改一下,右改一下了,而是要冷静下来,先理理头绪。 先根据情况试一下下面的步骤: 换个环境试试 换个用户试试 换个操作方式试试 换一下数据试试 换个浏览器试试 换个版本试试 根据上的情况搞清楚下面这几个问题: 这个BU...

336浏览 1推荐 0评论

hibernate跟Mybatis/ ibatis 的区别,为什么选择

第一章 Hibernate与MyBatis Hibernate 是当前最流行的O/R mapping框架,它出身于sf.NET,现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。 1.1 Hibernate 简介 Hibernate对数据库结构提供了较为完整的封装,Hibernate的O/R Mapping实现了POJO...

842浏览 9推荐 0评论

干货-MySql5.6性能优化

1.目标 了解什么是优化 掌握优化查询的方法 掌握优化数据库结构的方法 掌握优化MySQL服务器的方法 2.什么是优化? 合理安排资源、调整系统参数使MySQL运行更快、更节省资源。 优化是多方面的,包括查询、更新、服务器等。 原则:减少系统瓶颈,减少资源占用,增加系统的反应速度。 3.数据库性能参数 使用SHOW STATUS语句查看MySQL数据库的性能参数 •SHOW STA...

1273浏览 21推荐 1评论

高并发情况下,我们系统是如何支撑大量的请求的。

优化程序,优化服务配置,优化系统配置 几点需要注意: 尽量使用缓存,包括用户缓存,信息缓存等,多花点内存来做缓存,可以大量减少与数据库的交互,提高性能。 用jprofiler等工具找出性能瓶颈,减少额外的开销。 优化数据库查询语句,减少直接使用hibernate等工具的直接生成语句(仅耗时较长的查询做优化)。 优化数据库结构,多做索引,提高查询效率。 统计的功能尽量做缓存,或按每天一统计或定时统计...

415浏览 2推荐 0评论

基于MapReduce的蓄水池抽样 原创

最近在学习大数据相关的算法,写了很多关于算法方面的博文(怪咖科学),希望也能在慕课网上跟大家分享学习的一些技巧和经验。 问题:现在有一个很大的数据,假设有几千万条但不知道具体有多少条,如何在只遍历一次的情况下,随机取出其中K条数据? 思路: 1.可以将此问题抽象为蓄水池抽样问题。即,先把读取到的前K条数据放入列表中,对于第K+1个对象,以K/(K+1)的概率选择该对象;对于第K+2个对象,以K/(...

242浏览 3推荐 0评论

绝对干货-Redis集群的优化

1.安装Redis3.0 yum -y install cpp binutils glibc glibc-kernheaders glibc-common glibc-devel gcc make gcc-c++ libstdc++-devel tcl mkdir -p /usr/local/src/redis cd /usr/local/src/redis wget http://downloa...

911浏览 4推荐 0评论

漏洞挖局利器-Fuzz技术介绍 原创

模糊测试的定义 模糊测试定义为“通过向应用提供非预期的输入并监控输出中的异常来发现软件中的故障(faults)的方法”。 典型而言,模糊测试利用自动化或是半自动化的方法重复地向应用提供输入。显然,上述定义相当宽泛,但这个定义阐明了模糊测试的基本概念。 用于模糊测试的模糊测试器(fuzzer)分为两类: 一类 是基于变异(mutation-based)的模糊测试器,这一类测试...

285浏览 1推荐 0评论
首页上一页1234567下一页尾页

推荐作者

热门手记

意见反馈 常见问题 APP下载
官方微信