做科研课题,需要在Python中处理将近100亿行的数据,想到了把数据存入MySQL数据库以供查询的方法。因为只涉及最简单的插入和查询操作,使用了MyISAM引擎。设计了分表方案后每张表大约3000万行数据,大概有9个double类型字段和2个smallint类型字段,其中2个smallint类型字段建立组合索引用于查询。想知道这个方案是否需要进一步优化?
关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率

MySQL使用MyISAM引擎,单表数据接近3000万行如何优化?
收起
- 写回答
- 好问题 0 提建议
- 关注问题
微信扫一扫
点击复制链接分享
- 邀请回答
- 编辑 收藏 删除 结题
- 收藏 举报
3条回答 默认 最新
- 关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
CSDN专家-赖老师(软件之家) 2021-04-09 21:23关注查询条件主要是这2个字段吗?如果还是很慢的话是否可以再细分一些表出来呢?
本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报微信扫一扫
点击复制链接分享
评论按下Enter换行,Ctrl+Enter发表内容
报告相同问题?
提交
- 2021-01-20 21:13剑啸九天的博客 很多人第一反应是各种切分;我给的顺序是:第一优化你的sql和索引;第二加缓存,memcached,...第四如果以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对你的应用是透明的,无需更改代码,但是sq...
- 2020-12-10 19:46weixin_39640024的博客 对mysql优化是一个综合性的技术,主要包括表的设计合理化(符合3NF)添加适当索引(index) [四种: 普通索引、主键索引、唯一索引unique、全文索引]分表技术(水平分割、垂直分割)读写[写: update/delete/add]分离存储...
- 2022-01-19 23:57weixin_41274719的博客 MySQL起源和分支 MySQL 是最流行的关系型数据库软件之一,由于其体积小、速度快、开源免费、简单易用、维护成本 低等,在集群架构中易于扩展、高可用,因此深受开发者和企业的欢迎。 Oracle和MySQL是世界市场...
- 2022-01-13 19:43冰 河的博客 今天,我们就一起基于MySQL 5.7做一个实际的主键性能压测。让大家切实感受下使用UUID做MySQL的主键和int数字做MySQL的主键,性能到底有多少差异。
- 2019-02-22 01:16weixin_33901926的博客 问题概述使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。 问题前提:老系统,当时设计...
- 2019-09-11 14:14weixin_45414731的博客 文章目录mysql数据库mysql数据库的安装修改密码:建库...创建表注意数据库的数据类型数值类型**字符串类型**CHAR 和 VARCHAR 类型TEXT 和 BLOB 类型**日期和时间类型**DATE、TIME 和 TEAR 类型复合类型ENUM 类型SET...
- 2022-04-08 11:28一五二的博客 视频教学是否周期性故障或波动?一般由访问高峰或缓存崩溃引起 加缓存并更改缓存失效策略,使失效时间分散或夜间定时失效是否解决End...表关联多(表设计有缺陷)2.索引没优化3.语句没优化是否解决Endyesnoyesnoyesnoy
- 2022-08-26 10:19冰 河的博客 研究MySQL源代码,调试并压测MySQL源代码时,MySQL崩溃了!问题是它竟然崩溃了!而且还损坏了InnoDB文件!!还好是在调试环境下发生的,赶紧看看如何解决这个问题,经过一系列的查阅资料、验证、对比、MySQL源码调试...
- 2024-05-29 11:38愚公搬代码的博客 入门阶段:初学者了解MySQL数据库的基本概念、特点和用途,学习安装MySQL服务器和客户端工具,掌握基本的数据库操作,包括创建数据库、创建表、插入数据、查询数据等。基础语法学习:学习MySQL数据库的基本语法,...
- 2021-04-07 22:41陆·柒的博客 MySQL体系结构(内存结构、磁盘结构)、SQL运行机制、存储引擎、Undo/Redo Log等等 - MySQL索引存储机制和工作原理 索引存储结构、索引查询原理、索引分析和优化、查询优化等 - MySQL事务和锁工作原理 事务隔离...
- 2022-04-29 21:13咕咚与随从的博客 Pandas 是 Python 语言的一个扩展程序库,用于数据分析。 Pandas 是一个开放源码、BSD 许可的库,提供高性能、易于使用的数据结构和数据分析工具。 Pandas 名字衍生自术语 "panel data"(面板数据)和 "Python ...
- 2019-05-23 09:22牛奔的博客 一、介绍 1.什么是索引? 一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作...索引在MySQL中也叫做“键”,是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键,尤其是当表中...
- 2024-08-02 23:39愚公搬代码的博客 随着数据量的不断增加和业务需求的多样化,如何高效地管理和优化数据库,成为开发者面临的重要挑战。幸运的是,人工智能(AI)技术的迅速发展为我们提供了新的工具和思路,帮助我们在数据库优化方面实现突破。本文将...
- 2021-02-03 09:04weixin_39679370的博客 本文将讨论如何优化有海量数据的 MySQL 数据库。数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我 们程序员需要去关注的事情。当...
- 2024-05-23 14:55田哥coder的博客 你好,我是田哥如果你想做简历优化、简历修改、模拟面试、全程面试辅导的,欢迎找我。欢迎加入我星球(支持三天内无条件退款):好了,我们开始今天的正题。很多朋友经常会遇到如下情况:在做数据统计分析时,分析两...
- 2024-11-29 19:57唐子骞的博客 MySQL 是一种广泛应用的开源关系型数据库管理系统(RDBMS)。它具有诸多显著特点,在数据库领域占据着重要地位。一、性能卓越MySQL 性能表现出色,服务稳定可靠,很少出现异常宕机情况。这使得它在各种应用场景下都...
- 没有解决我的问题, 去提问