望云阁

望云阁

/data/dm8/bin/libpmem.so: cannot open shared object file: No such file or directory原因

这种问题需要启动达梦数据库一次,不要加mount参数 /data/dm8/bin/dmserver /data/dm8/data/DAMENG/dm.ini 执行完之后,数据库就初始化了


gxq926  178  2023-09-22 阅读全文

达梦数据库报1 行附近出现错误[-510]:系统处于MOUNT状态

1、守护进程通信是否正常 2、防火墙是否关闭 3、双方数据库是否数据一致,备库是否对主机库做了备份


gxq926  174  2023-09-22 阅读全文

达梦主备执行sql报:守护进程处于活动状态,或当前配置(ALTER_MODE_STATUS)

集群状态mount说明集群没有正常启动, 1、首先检查主备集群的网络是否正常、 2、集群服务器磁盘空间是否满了; 3、排除后在重启守护进程。 4、备库在建立连接之前是不是对主机库做了备份,保证两边的数


gxq926  174  2023-09-22 阅读全文

使用MySQL存储过程提高数据库效率和可维护性

MySQL 存储过程是一种强大的数据库功能,它允许你在数据库中存储和执行一组SQL语句,类似于编程中的函数。存储过程可以大幅提高数据库的性能、安全性和可维护性。本文将详细介绍MySQL存储过程的使用。


gxq926  199  阅读全文

SpringBoot3集成Kafka

一、简介 Kafka是一个开源的分布式事件流平台,常被用于高性能数据管道、流分析、数据集成和关键任务应用,基于Zookeeper协调的处理平台,也是一种消息系统,具有更好的吞吐量、内置分区、复制和容错


gxq926  233  2023-08-18 阅读全文

flink 写入kafka报错 *** ms has passed since batch creation plus linger time

首先我们来看看batchsize 和linger time Kafka需要在吞吐量和延迟之间取得平衡,可以通过下面两个参数控制. batch.size 当多个消息发送到相同分区时,生产者会将消息打包到


gxq926  273  2023-08-18 阅读全文

优化 Redis 集群缓存分配:解决节点间分配不均导致内存溢出问题

一、Redis 集群部署简介 在现代应用程序中,缓存被广泛应用以提高性能和减轻后端数据库的压力。本文将探讨面对 Redis 集群缓存分配不均问题时的解决方法。 我们的 Redis 集群部署包括 3 主


gxq926  286  2023-08-16 阅读全文

SpringBoot3集成ElasticSearch

一、简介 Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎,适用于各种数据类型,数字、文本、地理位置、结构化数据、非结构化数据; 在实际的工作中,历经过Elasticse


gxq926  194  阅读全文

Redis分布式锁

在分布式系统中,实现对共享资源的安全访问是一个关键问题。Redis作为一种高性能的内存数据库,提供了多种方式来实现分布式锁,以解决多个节点之间对共享资源的并发访问问题。 本文将介绍五种Redis分布式


gxq926  179  2023-08-09 阅读全文

基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse

认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准,但它不能处理非结构化数据。 包括诸如文本、图像、音频、视频和其他格式的信息。 此外机器学习和人工智能在业务的各个方面变得越来越普遍,


gxq926  565  阅读全文

Hive设置mapred.max.split.size报错cannot modify mapred.max.split.size at runtime的解决方法

在hive控制台设置执行 set mapred.max.split.size=100000 时报错:cannot modify mapred.max.split.size at runtime。 问题


gxq926  594  2022-09-13 阅读全文

腾讯TBDS平台HDFS组件中namenode无法启动的问题解决

前段时间维护TBDS平台时,HDFS的namenode一直启动不了,查看namenode日志,显示错误 No filter named org.apache.hadoop.hdfs.web.AuthF


gxq926  503  2022-09-13 阅读全文

事务的ACID特性

介绍事务 技术是为了解决问题而生的,通过事务我们可以解决以下问题: 多个操作不是一个整体操作,出现了部分执行成功的情况,导致数据的状态不一致问题(原子性) 一组操作只有部分完成,没有全部完成,但是此时


gxq926  509  2022-09-04 阅读全文

使用Apache Flink 和 Apache Hudi 创建低延迟数据湖管道

近年来出现了从单体架构向微服务架构的转变。微服务架构使应用程序更容易扩展和更快地开发,支持创新并加快新功能上线时间。但是这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更


gxq926  500  阅读全文

ClickHouse数据类型详解

ClickHouse属于分析型数据库,ClickHouse提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。其中基础类型使ClickHouse具备了描述数据的基本能力,而另外两种类型则使


gxq926  1765  2022-09-03 阅读全文

NTP时间同步

NTP 同步原理 NTP最典型的授时方式是Client/Server方式,如下图所示: 客户端首先向服务端发送一个NTP请求报文,其中包含了该报文离开客户端的时间戳t1; NTP请求报文到达NTP服务


gxq926  483  2022-09-03 阅读全文

Docker部署kafka

部署kafka docker-compose 编写docker-compose.yml,通过docker容器部署单节点kafka version: '3' services:  


gxq926  269  阅读全文

windows Linux openjdk下载地址

下载地址为Redhat提供的,包括openjdk8、openjdk11、openjdk17的windows版本 下载地址为:https://developers.redhat.com/products


gxq926  209  2022-07-19 阅读全文

elasticsearch-spark的用法

Hadoop允许Elasticsearch在Spark中以两种方式使用:通过自2.1以来的原生RDD支持,或者通过自2.0以来的Map/Reduce桥接器。从5.0版本开始,elasticsearch


gxq926  401  2022-05-23 阅读全文

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

一、Kafka 集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣,小编先与各位读者朋友对齐一下我们 Kafka 集群的部署架构及服务接入 Kafka 集群的流程。 为了避免超大集群我们按


gxq926  310  2022-05-23 阅读全文