Uber开源其Kafka集群监控工具Chaperone

近日,Uber工程师团队发布了开源项目Chaperone(中文意为监护人),这是一个Kafka监控工具。在Uber,它被用于监控多个数据中心和大容量Kafka集群中数据丢失、延迟以及重复的问题。 Uber现在的Kafka数据管道跨越了多个数据中心。Uber的各个系统会生成大量服务调用和事件的日志信息。这些服务在多个数据仓库间以多活模式运……

微软宣布 Git 虚拟文件系统 GVFS

微软通过官方博客宣布了它开发的Git虚拟文件系统GVFS,客户端源代码采用MIT许可证托管在GitHub上。https://github.com/Microsoft/gvfs 微软称,开发GVFS是为了满足大型项目的需要,以Windows操作系统为例,它的代码库包含了350多万的文件,容量超过270GB。 Git客户端在设计时并没有考虑此类的大型项目,因此在此类项目执……

GitLab的安装实战

一, gitlab简介 现在,GitHub已经成为首选的代码托管平台。 因为它又很多很棒的功能,操作简单,几乎所有的开发者都喜欢它。Gitlab 是一个很棒的Git托管服务,几乎像GitHub一样强大。gitlab 一般作为内部私有系统使用,若公司使用 git 分布代码,每次从 github 上 pull 则非常慢,使用 gitlab 则方便很多。 二,安装 ……

Keepalived+Nginx架构配置

Keepalived介绍 keepalived是一个类似于layer3, 4, 5 交换机制的软件,也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器 加入……

100+运维文章精选@2016|云技术社区

运维之道 《炉石传说》丢数据的可能性分析,另外,应该和网易云没有关系! 春节书单:云技术与运维从业者 刀锋上的舞蹈——解密唯品会背后的运维保障 | OpsWorld金牌讲师王喜春演讲文字实录 攻守兼备:OPSTicket系统设计实践|OpsWorld金牌讲师赵振华演讲文字实录 秒极时代下的业务运维利器 | OpsWorld金牌讲师黄八斤演讲文……

HAProxy负载均衡原理及企业级实例部署haproxy集群

HAProxy是一种高效、可靠、免费的高可用及负载均衡解决方案,非常适合于高负载站点的七层数据请求。客户端通过HAProxy代理服务器获得站点页面,而代理服务器收到客户请求后根据负载均衡的规则将请求数据转发给后端真实服务器。 同一客户端访问服务器,HAProxy保持回话的三种方案: HAProxy将客户端ip进行Hash计算并保存……

深入浅出分布式文件系统MogileFS集群

一、简介 MogileFS是一款开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发。 Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前MogileFS的日益成熟使用此解决方法的公司越来越多,例如日本的又拍、digg、中国的豆瓣、1号店、大众点评、搜狗和安居客等,分别为……

abbix部署(Linux上部署/监控端/被监控端)

一、监控系统的简单介绍 (1)cacti:存储数据能力强,报警性能差 (2)nagios:报警性能差,存储数据仅有简单的一段可以判断是否在合理范围内的数据长度,储存在内存中。比如,连续采样数据存储,有连续三次不在合理范围内的数据就报警 (3)zabbix:结合上面两种工具的优点,又可以存储数据,又可以报警 ……

rtop:一个通过 SSH 监控远程主机的交互式工具

rtop[1] 是一个基于 SSH 的直接的交互式远程系统监控工具[2],它收集并显示重要的系统性能指标,如 CPU、磁盘、内存和网络指标。 它用 Go 语言[3]编写,不需要在要监视的服务器上安装任何额外的程序,除了 SSH 服务器和登录凭据。 rtop 基本上是通过启动 SSH 会话和在远程服务器上执行某些命令[4]来收集各种系统性能信息……

使用 nc 命令检查远程端口是否打开

端口是与 Linux 操作系统上的应用或进程的通讯端点的逻辑实体。在使用之前,了解目标机器上哪些端口是打开并正在运行服务是非常有用的。 我们可以使用 netstat[1] 或其他几个 Linux 命令如 NMAP[2] 在本地机器上轻松地列出 Linux 中的打开端口[3]。 在本指南中,我们将向你展示如何使用简单的 netcat(简称 nc)命令来确……

MYSQL 入门全套

mysql简介 1、什么是数据库 ? 数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能……

详解zabbix安装、部署和配置(Server端)

Linux下常用的系统监控软件有Nagios、Cacti、Zabbix、Monit等,这些开源的软件,可以帮助我们更好的管理机器,在第一时间内发现,并警告系统维护人员。 今天开始研究下Zabbix,使用Zabbix的目的,是为了能够更好的监控mysql数据库服务器,并且能够生成图形报表,虽然Nagios也能够生成图形报表,但没有Zabbix这么强大。 首……