【Apache Doris】周FAQ集锦:第 19 期
【Apache Doris】周FAQ集锦:第 19 期
引言
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。
SQL问题
Q1 doris已经把connection_pool_max_size调大到1000,运行一段时间后执行查询报:
代码语言:javascript代码运行次数:0运行复制Connection is not available, request timed out
A1 如下:
1. 检查下 MySQL 那边是不是真的有 1000 个连接,排除下是否连接泄露
2. 因为改任何一个连接池参数都会新建连接池,所以大概率可能和连接个数没啥关系
. 综上来讲,大概率是超时,把超时时间调大再观察下
数据操作问题
Q2 mongodb如何导入至doris
A2 如下:
1. 批量导入时,可以基于DataX同步
2. 增量导入时,可以结合CDC的方式;目前Flink-Connector-Doris 1.6.2 已经支持整库同步增量+全量 Mongodb数据到Doris
Q 通过spark-doris-connector或者flink-doris-connector读取doris 2.1.x 版本报:
代码语言:javascript代码运行次数:0运行复制type is DATETIMEV2, BUT arrow type is TIMESTAMPMICRO
A 在doris2.1+版本后,变更了arrow的返回类型导致,主要涉及date/datetime ,可以使用最新版本的connector解决。
具体可以查阅Doris论坛帖子:
Q4 doris 2.1版本的arrow flight协议是否支持支持读视图?
A4 支持。Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。
arrow flight内容可查阅:
运维常见问题
Q5 doris部署时,fe机器是no avx2,be机器是支持avx2的,这种模式部署是否可行?
A5 可行;fe主要是java编写,通过jvm允许,对指令集无要求。
Q6 doris选择网卡是通过priority_networks选择的?
A6 是的;都是通过priority_networks的CIDR匹配模式选择的。该配置会指定 FE 使用的 IP,在配置 FQD 的环境中,可以忽略该选项。
Q7 doris单表多少数据量会达到性能瓶颈?
A7 理论上资源充足且合理分区分桶,是无上限的。目前有许多用户的生产单表至少几十TB的。
Q8 doris的be数据盘,推荐用容量大点的,还是相对小点的好。比如:一块20T的盘和4块5T的盘,哪种配盘方式对读写性能会更好?
A8 推荐选择4块5T的盘:
1. 坏盘时风险降低
2. IOPS能力相对会扩展
. 默认情况下,compaction效率和磁盘数也有一定的正比
Q9 doris be扩容后数据不均衡如何处理?
A9 如下:
1. show backends 查看各be间Tabletum、DataUsedCapacity和TrashUsedCapacity的值是否相对均匀;如果回收站数据Size差异较大,且无用则可以进行清理下:ADMI CLEA TRASH
2. 参考下 [数据副本问题排查指南] 进行处理:
本文参与 腾讯云自媒体同步曝光计划,分享自。原始发表:2024-08-24,如有侵权请联系 cloudcommunity@tencent 删除apache连接数据同步性能
#感谢您对电脑配置推荐网 - 最新i3 i5 i7组装电脑配置单推荐报价格的认可,转载请说明来源于"电脑配置推荐网 - 最新i3 i5 i7组装电脑配置单推荐报价格
推荐阅读
留言与评论(共有 16 条评论) |
本站网友 系统服务优化 | 9分钟前 发表 |
分享自 | |
本站网友 激光美白价格 | 30分钟前 发表 |
可以忽略该选项 | |
本站网友 自然流产 | 15分钟前 发表 |
request timed outA1 如下: 1. 检查下 MySQL 那边是不是真的有 1000 个连接 | |
本站网友 蛇酒的功效 | 6分钟前 发表 |
Q8 doris的be数据盘 | |
本站网友 修正药业官网 | 4分钟前 发表 |
在配置 FQD 的环境中 | |
本站网友 西安教育培训机构 | 2分钟前 发表 |
该配置会指定 FE 使用的 IP | |
本站网友 求个网站 | 8分钟前 发表 |
可以使用最新版本的connector解决 | |
本站网友 多成中医 | 14分钟前 发表 |
主要涉及date/datetime | |
本站网友 青岛海信都市阳光 | 3分钟前 发表 |
希望帮助社区小伙伴更好地了解和应用 Apache Doris | |
本站网友 储时健 | 17分钟前 发表 |
希望帮助社区小伙伴更好地了解和应用 Apache Doris | |
本站网友 冒险岛大丽花 | 3分钟前 发表 |
可以忽略该选项 | |
本站网友 参军年龄 | 2分钟前 发表 |
比如:一块20T的盘和4块5T的盘 | |
本站网友 易语言盗号源码 | 0秒前 发表 |
比如:一块20T的盘和4块5T的盘 | |
本站网友 血糖高吃什么 | 27分钟前 发表 |
还是相对小点的好 | |
本站网友 恩替卡韦的副作用 | 22分钟前 发表 |
运行一段时间后执行查询报: 代码语言:javascript代码运行次数:0运行复制Connection is not available |