Hadoop高可用集群部署指南

一、前言1、Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存...

NTP时间服务器部署以及时间同步设置

一、前言1、NTP简介NTP是网络时间协议(Network Time Protocol),它是用来同步网络中各个计算机的时间的协议。它的用途是把计算机的时钟同步到世界协调时UTC,其精度在局域网内可达0.1ms,在互联网上绝大多数的地方其精度可以达到1-50ms。 2、为什么需要NTP服务器?时间保持同步对于服务器集群来说尤为重要,比如说电商的秒杀,以及火车票的抢购等等,如果服务器时间不同步,那么...

ZooKeeper集群部署指南

一、前言1、ZooKeeper简介ZooKeeper是一个开源的分布式应用程序协调服务,是Google的Chubby一个开源的实现。ZooKeeper为分布式应用提供一致性服务,提供的功能包括:分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)、分布式锁(Distributed Lock)等...

ELK6.0部署:Elasticsearch+Logstash+Kibana搭建分布式日志平台

一、前言1、ELK简介ELK是Elasticsearch+Logstash+Kibana的简称 ElasticSearch是一个基于Lucene的分布式全文搜索引擎,提供 RESTful API进行数据读写 Logstash是一个收集,处理和转发事件和日志消息的工具 Kibana是Elasticsearch的开源数据可视化插件,为查看存储在ElasticSearch提供了友好的Web界面,并提供...

单点登录(SSO)的设计与实现

一、前言1、SSO说明SSO英文全称Single Sign On,单点登录。SSO是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。https://baike.baidu.com/item/SSO/3451380 例如访问在网易账号中心(http://reg.163.com/ )登录之后访问以下站点都是登录状态 网易直播 http://v.163.com网易博客 http:...

分布式ID生成器解决方案SnowflakeX

一、前言什么情况下我们需要ID生成器? 数据库水平拆分的情况下,主键由于需要作为业务标识使用,需要唯一。业务编号需要暴露给用户,但是又不想被用户猜到需要被隐藏的业务编号业务编号需要体现业务信息,比如订单分类订单渠道等等 本次解决方案主要应对的场景是? 数据库水平拆分的情况下,主键由于需要作为业务标识使用,需要唯一。 本次的ID生成器设计目标? 全局唯一每秒可生成100W+趋于递增(对索引友好)高可...