知名互联网公司网站架构图

引言 近段时间以来,通过接触有关海量数据处理和搜索引擎的诸多技术,常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外,更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图,一为了一饱眼福,领略各类大型网站架构设计的精彩之外,二来也可供闲时反复琢……

阿里万亿交易量级下的秒级监控

我今天分享的内容是:怎么在万亿交易量下实现足够实时的秒级监控? 我先来介绍一下监控系统 Sunfire,它是阿里集团的业务监控系统,前身是蚂蚁的 xflush,它支持应用标准化监控,如操作系统,JVM,中间件等。 除此之外还有更强大的日志监控能力,大多数业务的监控指标都从应用的日志中抽取。目前覆盖了集团几乎所……

如何构建万台服务器下的立体化监控体系?

了更好地帮助大家理解监控的维度,本文先从一个通用的网站架构开始谈起,然后讲一讲 58 集团是怎么在横向和纵向两个维度覆盖各种类型监控的。 主要分为两个部分进行分享: 网站的总体架构 构建立体化的监控体系 网站的总体架构 业务集群 对于大多数的技术人员来说,最熟悉的就是业务集群,我……

携程运维自动化平台让上万服务器变更也可以很轻松!

“ 今天给大家分享的主题是基于 StackStorm 的携程运维自动化平台。 去年 5 月,勒索病毒爆发,席卷全球,影响了政府部门、医疗机构、公共交通、学校、企业等等,给全世界带来了巨大损失。 如果有投资眼光的人,遇到这个事情,考虑的可能是购买比特币。而作为运维工程师,考虑的只是如何防止病毒影响自己公司的业务……

MySQL主从同步一般是多久的延迟?

这次单独调查一下主从延迟的时间。这里说的主从延迟,并不是指“从库更新性能跟不上主库”, 而是“一个命令从主库更新完成到从库更新完成的延迟时间。 基本流程: 对于每一个连上来的从库,主库都有一个client线程与之对应。 先看主从的基本数据流 1、客户端SQL更新命令 2、主库执行 3、主库写binlog 4、主库client线程读bi……

如何解决mysql主从延迟

MySQL内建的复制功能是构建大型、高性能应用程序的基础。将MySQL的数据分布到多个系统上去,这种分布式的机制,是通过将MySQL的某一台主机的数据,复制到其他的主机slaves上,并重新执行一边来实现。 复制过程中,一个服务器充当主服务器,而一个或多个其他服务器充当从服务器。主服务器将更新写入二进制日志文件,并维护……

超详细!使用 LVS 实现负载均衡原理及安装配置详解

负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy,商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。 一、负载均衡LVS基本介绍 LB集群的架构和原理很简单,就是当用户的请求过来时,会直接分发到Director Serv……

集群信息管理,架构设计中最容易遗漏的一环

准备系统性介绍“技术体系规划”了,这是第一篇。   监控平台,服务治理,调用链跟踪,数据收集中心,自动化运维,自动化测试… 很多要讲,却没想好从哪里入手。 讲Z平台,可能需要提前介绍Y服务;讲Y服务,可能需要提前介绍X知识。   思来想去,准备从技术体系里,最容易被遗漏,非常基础,却又非常重要的“集群信……

高并发的常见应对方案

一、关于并发 我们说的高并发是什么? 在互联网时代,高并发,通常是指,在某个时间点,有很多个访问同时到来。 高并发,通常关心的系统指标与业务指标? QPS:每秒钟查询量,广义的,通常指指每秒请求数 响应时间:从请求发出到收到响应花费的时间,例如:系统处理一个HTTP请求需要100ms,这个100ms就……

前台与后台分离的架构实践

如果你经历过创业,经历过快速迭代业务,经历过用户量不断上涨,经历过访问并发越来越大,你一定会遇到以下系统问题: 用户访问页面越来越慢 系统性能下降,数据库扛不住,连接数经常打满,最终数据库挂掉,重启后又快速挂掉 改了一个小地方,另外一个看似不相干的地方却挂了,严重耦合   如果你没有经历过,很可……

分布式文件系统FastDFS详解

上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历,可能有些人对FastDFS不是特别的了解,因此计划写几篇文章完整的介绍一下这个软件。 为什么要使用分布式文件系统呢? 嗯,这个问题问的好,使用了它对我们有哪些好处?带着这个问题我们来往下看: 单机时代 初创时期由于时间紧迫,在各种资……

Jmeter实时性能测试数据的监控

Jmetet实时性能测试数据的监控和展示 Jmeter Grafana InfluxDB 安装Grafana 配置jmeter 安装InfluxDB 配置Grafana 展示数据 一 安装InfluxDB 为了方便的操作InfluxDB,这里我们选择InfluxDB1.1以前的版本,因为web管理界面将在1.1以后的版本中删除。 01 下载InfluxDB wget http://dl.influ……

利用ProxySQL实现MySQL的读写分离

一、Proxysql 的基础知识 ProxySQL是一个可以实现MySQL读写分离的轻量级工具。 ProxySQL的特点 将所有配置保存写入到SQLit表中。 支持动态加载配置,即一般可以在线修改配置,但有少部分参数还是需要重启来生效。 支持query cache。 支持对query的路由,可以针对某个语句进行分配去哪个实例执行。 故障切换。 过滤危险的……