技术综合

时间序列数据库的秘密(1)—— 介绍

什么是时间序列数据?最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格,环境中的温度,主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢?几乎所有的数据都可以打上一个timestamp字段。时间...

Elasticsearch-基础介绍及索引原理分析

最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助...

如何优雅的设计和使用缓存?

1.确认是否需要缓存在使用缓存之前,需要确认你的项目是否真的需要缓存。使用缓存会引入的一定的技术复杂度,后文也将会一一介绍这些复杂度。一般来说从两个方面来个是否需要使用缓存:CPU占用:如果你有某些应用需要消耗大量的cpu去计算,比如正则表...

详解mpstat、iostat、sar、vmstat命令的使用

mpstat是MultiprocessorStatistics的缩写,是实时监控工具,报告与cpu的一些统计信息这些信息都存在/proc/stat文件中,在多CPU系统里,其不但能查看所有的CPU的平均状况的信息,而且能够有查看特定的cpu...

正则表达式30分钟入门教程

本文目标30分钟内让你明白正则表达式是什么,并对它有一些基本的了解,让你可以在自己的程序或网页里使用它。如何使用本教程最重要的是——请给我30分钟,如果你没有使用正则表达式的经验,请不要试图在30秒内入门——除非你是超人:)别被下面那些复杂...

Flume架构以及应用介绍

在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程:从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Fl...

硬盘的读写原理

硬盘的种类主要是SCSI、IDE、以及现在流行的SATA等;任何一种硬盘的生产都要一定的标准;随着相应的标准的升级,硬盘生产技术也在升级;比如SCSI标准已经经历了SCSI-1、SCSI-2、SCSI-3;其中目前咱们经常在服务器网站看到的...

磁盘和内存读写简单原理

当程序要读取的数据时传入内存地址(行地址+列地址),如果数据不在主存中时,会触发一个缺页异常,此时系统会向磁盘发出读盘信号,通过柱面号,磁头号,扇区号定位磁盘位置,找到数据的起始位置并向后连续读取一页或几页载入内存中。我们在程序中的数据处理...

硬盘的存储原理和内部架构

首先,让我们看一下硬盘的发展史:1956年9月13日,IBM的IBM350RAMAC(RandomAccessMethodofAccountingandControl)是现代硬盘的雏形,整个硬盘需要50个直径为24英寸表面涂有磁浆的盘片,它...

SSO解决session共享方案

之前做项目遇到了这个sso系统,当时只是理解了一部分,今天偶尔发现一篇文章,觉得写的不错,增加了sso知识:单点登录在现在的系统架构中广泛存在,他将多个子系统的认证体系打通,实现了一个入口多处使用,而在架构单点登录时,也会遇到一些小问题,在...

网站压力测试工具webbench

webbench最多可以模拟3万个并发连接去测试网站的负载能力,个人感觉要比Apache自带的ab压力测试工具好,安装使用也特别方便。1、适用系统:Linux2、编译安装:引用wgethttp://blog.zyan.cc/soft/lin...

细品《大型网站架构》

跟很多同行闲谈中,挺多人都认为,当没访问量时,架构就是扯,只有到一定量之后架构才有意义。乍一看,好像是那么回事,读完本书渐渐改变了一些曾经的无知。书中解答了小白们的疑惑,我也是从书中所得且也结合这几年的工作经验,我更觉得架构是一种支持由小至...