.Net轻松处理亿级数据--clickhouse及可视化界面安装介绍
前言
我是在17年就听说过Clickhouse,那时还未接触过亿数据的运算,那时我在的小公司对于千万数据的解决方案还停留在分库分表,最好的也是使用mycat做的集群system idle 。这些解决方案都比较复杂,毕竟通常来说那些需要大量存储的数据基本都是像日志,流水等不需要修改的数据,像客户人员等需要经常维护的信息一般项目也就几万左右,在这些不是非常重要的数据上耗太多时间我个人是觉得有点浪费(但毕竟还是要的嘛),直到我到了新公司才重新拾起了对Clickhouse的学习,下面主要介绍下安装以及下篇会介绍一些简单的用法。
一、ClickHouse简介 文档地址
CH是由俄罗斯“熊哥”开源的一套用于联机分析(OLAP)的列式数据库管理系统(DBMS),它通过针对性的设计,力图解决海量多维度数据的查询性能问题system idle 。小白程序员轻松上手,安装和操作就像mysql一样简单。
适用于:
大多数是读请求
每次写入大于1000行的数据(不适用于单条插入)
不修改已添加的数据
每次查询都从数据库中读取大量的行system idle ,但是同时又仅需要少量的列
宽表system idle ,即每个表包含着大量的列
较少的查询(通常每台服务器每秒数百个查询或更少)
对于简单查询system idle ,允许延迟大约50毫秒
列中的数据相对较小: 数字和短字符串(例如system idle ,每个URL 60个字节)
处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行)
事务不是必须的
对数据一致性要求低
每一个查询除system idle 了一个大表外都很小
查询结果明显小于源数据system idle ,换句话说,数据被过滤或聚合后能够被盛放在单台服务器的内存中
应用场景
公交轨迹( system idle 我自己的应用场景)
消费转账流水
日志记录
天气数据
二、ClickHouse安装
安装方式有多种(暂未支持windows上安装)system idle ,官方文档上介绍的安装方式感觉有点复杂,下面介绍一种较为简单的安装方式,通过rpm安装包进行安装,git地址:点击跳转
系统环境:CentOS 7.5
1、下载包需要curl支持system idle ,当前系统没有的话需要先通过yum安装一下
sudo yum install -y curl
2、下载安装脚本
curl -s
3、检查clickhouse安装包全不全
sudo yum list 'clickhouse*'
Available Packages
clickho use-client.x86_64 18.1. 0-1.el7 Altinity_clickhouse
clickho use-common-static.x86_64 18.1. 0-1.el7 Altinity_clickhouse
clickho use-compressor.x86_64 1.1. 54336-3.el7 Altinity_clickhouse
clickho use-debuginfo.x86_64 18.1. 0-1.el7 Altinity_clickhouse
clickho use-mysql.noarch 0.0. 20180319-1Altinity_clickhouse
clickho use-server.x86_64 18.1. 0-1.el7 Altinity_clickhouse
clickho use-server-common.x86_64 18.1. 0-1.el7 Altinity_clickhouse
clickho use-test.x86_64 18.1. 0-1.el7 Altinity_clickhouse
4、检查没问题的话开始安装服务端和客户端
sudo yum install -yclickho use-serverclickho use-client
5、检查安装后的包全不全
sudo yum list installed 'clickhouse*'
Installed Packages
clickhouse-client.x86_64 18.1.0- 1.el7 @Altinity_clickhouse
clickhouse-common- static.x86_64 18.1.0- 1.el7 @Altinity_clickhouse
clickhouse-server.x86_64 18.1.0- 1.el7 @Altinity_clickhouse
clickhouse-server-common.x86_64 18.1.0- 1.el7 @Altinity_clickhouse
6、安装成功后首先运行服务端system idle ,默认会使用config.xml作为配置文件,也可以通过--config=xxx来指定配置文件
sudo service clickho use-serverstart
7、客户端运行,这里的命令啥的和mysql很像system idle ,一些命令语法都是差不多的,下面简单试下
clickhouse -client
localhost :) showdatabases
SHOWDATABASES
┌─name────┐
│ default│
│ system│
2rowsinset. Elapsed: 0.030sec.
这时服务端会有响应信息
ClickHouse client version 18.1. 0.
Connecting tolocalhost: 9000asuser default.
Connected toClickHouse server version 18.1. 54396.
三、可视化界面安装system idle ,官方文档有介绍很多种工具,这里介绍Tabix
上面介绍的操作方式都是在linux上进行操作的system idle ,结果什么都需要通过终端进行查看,很不方便,好在有第三方可视化Web界面工具Tabix
Tabix使用安装非常方便system idle ,有本地安装和无安装两种方式
1、无安装方式最简单system idle ,直接打开官方提供的地址:点击跳转
在上面输入你Clickhouse运行的地址、端口、登录名、密码等信息就好了system idle 。
2、本地安装方式
本地需要web服务器system idle ,所以先安装一个nginx,具体安装不再细说,网上资料有很多,nginx配置
server {
listen80;
server_name ui.tabix.io;
charset utf- 8;
root /var/;
location / {
if(!-f $request_filename) {
rewrite ^(.*)$ /index.html last;
indexindex.html index.htm;
然后下载最新的安装文件:点击跳转,并且解压将build文件夹拷贝到nginx对应的目录下,然后浏览运行看下效果,具体登录操作和上面一样system idle 。
四、扩充
集群的安装可参考这篇文章:点击跳转
使用Prometheus进行系统的监控
使用Grafana监控数据库的性能
爱资源吧版权声明:以上文中内容来自网络,如有侵权请联系删除,谢谢。