在现代的IT运维中，实时监控系统性能是确保服务器、网络和应用健康运行的基础。Python作为一种灵活的编程语言，在运维管理中得到了广泛应用。psutil是Python中一个强大的库，用于获取系统的各种资源信息，如CPU、内存、磁盘、网络等。本文将深入分析如何利用psutil库监控系统性能，并生成详细的报表。通过大量代码实例和中文注释，逐步讲解如何使用psutil获取系统资源的使用情况，如何设置定时监控任务，以及如何将监控结果生成报告或图表，方便运维人员进行分析和决策。本文不仅包括基本的监控任务，还介绍了如何优化监控脚本的性能，如何处理监控数据的存储和展示，帮助读者更好地应用这一工具进行系统运维。
目录
- 引言
psutil库概述- 安装与配置
- 库的主要功能
- 获取系统资源信息
- CPU监控
- 内存监控
- 磁盘监控
- 网络监控
- 定时监控任务
- 生成报表与数据可视化
- 文本报表
- 图表报表
- 优化与性能提升
- 总结与展望
1. 引言
系统性能监控是IT运维的核心任务之一，尤其是在处理大量数据、分布式应用和云计算环境下，系统的健康状态直接影响到服务的可靠性与可用性。在日常的系统运维中，常常需要监控各类系统资源，包括CPU负载、内存使用情况、磁盘读写速度以及网络流量等，确保系统能够在高负载时稳定运行。
psutil是一个跨平台的库，能够帮助Python程序员快速访问这些系统性能指标。它支持Linux、Windows和macOS等操作系统，能够方便地获取系统资源的实时数据，并进行详细分析。本文将介绍如何使用psutil进行系统监控，并结合大量的代码实例，帮助读者快速掌握如何利用这一工具在实际的运维工作中提高效率。
2. psutil库概述
安装与配置
首先，我们需要安装psutil库。可以使用pip进行安装：
pip install psutil
安装完成后，我们可以导入psutil并开始使用它：
import psutil
库的主要功能
psutil提供了丰富的API来访问系统信息。常见的功能包括：
- CPU信息：获取CPU的使用率、核心数、频率等。
- 内存信息：获取系统的内存使用情况，包括总内存、已用内存、空闲内存等。
- 磁盘信息：获取磁盘的使用情况、磁盘读写速度等。
- 网络信息：获取网络接口的流量情况、网络连接等。
3. 获取系统资源信息
CPU监控
要监控CPU的使用情况，psutil提供了多个方法，最常用的包括：
psutil.cpu_percent(interval=1)：返回当前CPU的使用率。psutil.cpu_times()：返回每个CPU核心的使用时间，包括用户态、系统态、空闲态等。
下面是一个获取CPU使用率并每秒更新的代码示例：
import psutil
import time
def monitor_cpu():
while True:
cpu_percent = psutil.cpu_percent(interval=1) # 获取CPU使用率
print(f"当前CPU使用率: {cpu_percent}%")
time.sleep(1) # 每秒更新一次
monitor_cpu()
输出示例：
当前CPU使用率: 25.0%
当前CPU使用率: 30.0%
当前CPU使用率: 28.5%
内存监控
使用psutil可以轻松获取系统的内存使用情况。常用的方法包括：
psutil.virtual_memory()：返回虚拟内存的使用情况，包括总内存、已用内存、剩余内存等。psutil.swap_memory()：返回交换内存的使用情况。
代码示例：
import psutil
def monitor_memory():
mem = psutil.virtual_memory() # 获取内存信息
print(f"总内存: {mem.total / (1024 ** 3):.2f} GB")
print(f"已用内存: {mem.used / (1024 ** 3):.2f} GB")
print(f"剩余内存: {mem.free / (1024 ** 3):.2f} GB")
print(f"内存使用率: {mem.percent}%")
monitor_memory()
输出示例：
总内存: 16.00 GB
已用内存: 8.50 GB
剩余内存: 7.50 GB
内存使用率: 53.2%
磁盘监控
psutil还可以监控磁盘的使用情况。常用的函数有：
psutil.disk_usage(path)：返回磁盘的使用情况。psutil.disk_io_counters()：返回磁盘的读写计数。
代码示例：
import psutil
def monitor_disk():
disk_usage = psutil.disk_usage('/') # 获取根目录磁盘使用情况
print(f"总磁盘空间: {disk_usage.total / (1024 ** 3):.2f} GB")
print(f"已用磁盘空间: {disk_usage.used / (1024 ** 3):.2f} GB")
print(f"剩余磁盘空间: {disk_usage.free / (1024 ** 3):.2f} GB")
print(f"磁盘使用率: {disk_usage.percent}%")
monitor_disk()
输出示例：
总磁盘空间: 500.00 GB
已用磁盘空间: 200.00 GB
剩余磁盘空间: 300.00 GB
磁盘使用率: 40.0%
网络监控
psutil提供了对网络接口的详细监控，包括：
psutil.net_io_counters()：返回网络接口的流量统计。psutil.net_connections()：返回所有网络连接的信息。
代码示例：
import psutil
def monitor_network():
net_io = psutil.net_io_counters()
print(f"发送字节数: {net_io.bytes_sent / (1024 ** 2):.2f} MB")
print(f"接收字节数: {net_io.bytes_recv / (1024 ** 2):.2f} MB")
monitor_network()
输出示例：
发送字节数: 50.00 MB
接收字节数: 75.00 MB
4. 定时监控任务
在实际运维中，我们需要定期或持续地监控系统资源，可以利用Python的time模块或schedule库来实现定时任务。
使用time.sleep进行定时监控
import time
def scheduled_monitor():
while True:
# 每10秒执行一次资源监控
monitor_cpu()
monitor_memory()
monitor_disk()
monitor_network()
time.sleep(10)
scheduled_monitor()
使用schedule库进行定时任务调度
schedule是一个简单的定时任务调度库，可以替代time.sleep，让任务执行更加灵活。
pip install schedule
import schedule
import time
def job():
monitor_cpu()
monitor_memory()
monitor_disk()
monitor_network()
# 每5分钟执行一次任务
schedule.every(5).minutes.do(job)
while True:
schedule.run_pending()
time.sleep(1)
5. 生成报表与数据可视化
在系统监控过程中，获取的数据需要经过处理和展示，才能为运维人员提供有价值的信息。简单的文本报表可能无法直观地呈现数据的趋势和异常，因此，生成图表报表和可视化数据是一个重要的环节。这里我们将介绍如何使用Python中的psutil与matplotlib、pandas等库，将监控数据进行处理，并生成可视化的报表。
5.1 文本报表
生成文本报表是最基本的一种方式，它直接将监控数据打印出来，方便进行记录和检查。在实际运维中，文本报表可以按时间戳生成，并保存到文件中，供后续分析和追踪。
示例代码：生成CPU、内存、磁盘、网络使用情况的文本报表
import psutil
import time
def generate_report():
# 获取系统的CPU使用率
cpu_percent = psutil.cpu_percent(interval=1)
# 获取系统的内存使用情况
memory = psutil.virtual_memory()
memory_percent = memory.percent
# 获取系统磁盘使用情况
disk = psutil.disk_usage('/')
disk_percent = disk.percent
# 获取网络使用情况
net = psutil.net_io_counters()
bytes_sent = net.bytes_sent
bytes_recv = net.bytes_recv
# 生成报表内容
report = f"""
系统监控报表
-------------------------
时间: {time.strftime('%Y-%m-%d %H:%M:%S')}
CPU使用率: {cpu_percent}%
内存使用率: {memory_percent}%
磁盘使用率: {disk_percent}%
网络流量:
发送字节数: {bytes_sent} bytes
接收字节数: {bytes_recv} bytes
"""
return report
# 每隔一段时间生成报表并保存到文件
def save_report():
while True:
report = generate_report()
with open("system_report.txt", "a") as file:
file.write(report)
print("报表已保存。")
time.sleep(60) # 每60秒生成一次报表
if __name__ == "__main__":
save_report()
解释：
在上述代码中，我们定义了一个generate_report函数，用来获取CPU、内存、磁盘、网络的实时数据，并生成格式化的文本报表。然后，通过save_report函数，每隔一分钟将生成的报表追加到system_report.txt文件中。这样，运维人员就可以方便地查看每次记录的系统状态。
5.2 图表报表
虽然文本报表简洁，但对于系统性能的趋势分析而言，图表报表更加直观。我们可以使用matplotlib和pandas等库来生成图表，从而帮助我们更好地理解数据变化。
示例代码：生成CPU、内存、磁盘使用情况的图表
import matplotlib.pyplot as plt
import psutil
import time
import pandas as pd
def get_system_data():
# 获取CPU使用率
cpu_percent = psutil.cpu_percent(interval=1)
# 获取内存使用情况
memory = psutil.virtual_memory()
memory_percent = memory.percent
# 获取磁盘使用情况
disk = psutil.disk_usage('/')
disk_percent = disk.percent
return cpu_percent, memory_percent, disk_percent
def plot_system_data(cpu_data, memory_data, disk_data):
# 使用pandas整理数据
data = {
'Time': pd.date_range(start='2024-12-08', periods=len(cpu_data), freq='T'),
'CPU使用率': cpu_data,
'内存使用率': memory_data,
'磁盘使用率': disk_data,
}
df = pd.DataFrame(data)
# 绘制图表
plt.figure(figsize=(10, 6))
plt.plot(df['Time'], df['CPU使用率'], label='CPU使用率', color='red')
plt.plot(df['Time'], df['内存使用率'], label='内存使用率', color='blue')
plt.plot(df['Time'], df['磁盘使用率'], label='磁盘使用率', color='green')
plt.xlabel('时间')
plt.ylabel('使用率 (%)')
plt.title('系统资源使用情况')
plt.legend()
plt.grid(True)
plt.xticks(rotation=45)
plt.tight_layout()
plt.savefig('system_performance.png') # 保存图表为图片
plt.show()
def monitor_system():
cpu_data = []
memory_data = []
disk_data = []
try:
while True:
cpu, memory, disk = get_system_data()
cpu_data.append(cpu)
memory_data.append(memory)
disk_data.append(disk)
time.sleep(60) # 每60秒获取一次数据
except KeyboardInterrupt:
# 当用户中断时，生成图表
plot_system_data(cpu_data, memory_data, disk_data)
if __name__ == "__main__":
monitor_system()
解释：
在这个示例中，我们利用psutil获取CPU、内存、磁盘的使用情况，并将其存储到列表中。每隔60秒，程序会获取一次数据，直到用户中断。然后，使用matplotlib绘制这些数据的趋势图，最后保存为PNG图片。图表包括CPU、内存、磁盘使用率，时间轴为X轴，使用率为Y轴。通过这种方式，运维人员可以直观地查看不同系统资源的变化趋势，帮助他们判断系统是否正常运行，是否存在性能瓶颈。
5.3 结合matplotlib和psutil生成实时监控仪表盘
实时监控系统资源并生成动态图表，能够提供即时反馈。在一些复杂的运维场景中，可能需要持续展示系统的资源使用情况，我们可以将数据实时绘制成动态图表，达到监控仪表盘的效果。
示例代码：创建实时监控仪表盘
import psutil
import matplotlib.pyplot as plt
import matplotlib.animation as animation
def get_system_data():
cpu_percent = psutil.cpu_percent(interval=1)
memory = psutil.virtual_memory()
memory_percent = memory.percent
disk = psutil.disk_usage('/')
disk_percent = disk.percent
return cpu_percent, memory_percent, disk_percent
def update_graph(frame, cpu_data, memory_data, disk_data, line1, line2, line3):
cpu, memory, disk = get_system_data()
cpu_data.append(cpu)
memory_data.append(memory)
disk_data.append(disk)
# 保持数据列表的长度
if len(cpu_data) > 50:
cpu_data.pop(0)
memory_data.pop(0)
disk_data.pop(0)
# 更新图表的数据
line1.set_ydata(cpu_data)
line2.set_ydata(memory_data)
line3.set_ydata(disk_data)
return line1, line2, line3
def create_real_time_dashboard():
cpu_data = []
memory_data = []
disk_data = []
fig, ax = plt.subplots(figsize=(10, 6))
ax.set_ylim(0, 100)
ax.set_xlim(0, 50)
ax.set_title('系统资源实时监控')
ax.set_xlabel('时间')
ax.set_ylabel('使用率 (%)')
line1, = ax.plot([], [], label='CPU使用率', color='red')
line2, = ax.plot([], [], label='内存使用率', color='blue')
line3, = ax.plot([], [], label='磁盘使用率', color='green')
ax.legend()
ani = animation.FuncAnimation(fig, update_graph, fargs=(cpu_data, memory_data, disk_data, line1, line2, line3), interval=1000)
plt.tight_layout()
plt.show()
if __name__ == "__main__":
create_real_time_dashboard()
解释：
这个示例使用matplotlib.animation模块生成了一个动态更新的监控仪表盘。每秒钟，CPU、内存、磁盘的使用率数据会更新一次，显示在图表中。通过这种方式，运维人员可以实时观察到系统资源的变化，快速响应潜在的性能问题。
6. 优化与性能提升
在进行系统监控时，随着监控数据量的增多，性能问题逐渐显现。尤其是在长时间运行的监控脚本中，如何确保脚本的效率和可靠性，如何减少系统资源消耗，是提高监控效率的重要环节。本节将介绍几种优化手段，帮助提高psutil监控脚本的性能。
6.1 减少CPU占用
psutil库的一些方法（如cpu_percent()）会周期性地对CPU进行采样计算，虽然这些方法相对高效，但频繁调用时仍可能导致CPU使用率的升高。为避免这种情况，我们可以通过调整采样间隔，合理控制数据采集频率，从而降低对CPU资源的占用。
优化建议
- 增加采样间隔： 将
psutil.cpu_percent()等方法的interval参数设置得更长，如从默认的1秒增加到5秒、10秒等，以减少对CPU的频繁采样。 - 延时执行： 采用定时任务（如
time.sleep()）来延迟脚本的执行频率，避免过度频繁地调用监控方法。
示例代码：优化CPU监控
import psutil
import time
def monitor_cpu():
while True:
# 设定较长的间隔（例如：5秒）来减少CPU采样频率
cpu_percent = psutil.cpu_percent(interval=5)
print(f"当前CPU使用率：{cpu_percent}%")
time.sleep(5) # 再延迟5秒
通过增加间隔时间，CPU的负载会得到有效降低。实际使用时，可以根据需要进一步调整采样频率，以实现最佳平衡。
6.2 降低内存占用
在处理长时间监控时，内存占用过高会影响系统的稳定性。通过合理设计监控脚本的数据存储方式和数据结构，可以有效减少内存的消耗。
优化建议
- 数据缓存： 使用环形缓冲区或队列来存储监控数据，避免在内存中积累大量历史数据。
- 数据清理： 定期清理不再需要的历史数据，防止内存泄漏或过度占用。
示例代码：使用队列存储监控数据
import psutil
import time
from collections import deque
# 创建一个队列，最多保存最近10次的CPU使用率数据
cpu_queue = deque(maxlen=10)
def monitor_cpu():
while True:
# 获取当前CPU使用率
cpu_percent = psutil.cpu_percent(interval=1)
cpu_queue.append(cpu_percent)
# 打印队列中的CPU使用率数据
print("最近10次的CPU使用率:", list(cpu_queue))
time.sleep(1) # 每秒钟采样一次
在此代码中，deque数据结构被用来存储最近的10条CPU使用率数据，这样可以避免大量历史数据占用内存。
6.3 多线程和异步执行
当监控脚本需要并行监控多个系统资源（如CPU、内存、磁盘和网络）时，单线程的执行方式会显得十分低效。为了提高性能，我们可以使用多线程或异步编程模型来并行处理多个监控任务。
优化建议
- 使用多线程： 在Python中，可以使用
threading模块创建多个线程，分别进行不同系统资源的监控。 - 使用异步IO： 如果任务中涉及到IO操作（如读取文件、数据库等），可以使用
asyncio模块来实现异步执行。
示例代码：使用多线程进行并行监控
import psutil
import threading
import time
# CPU监控函数
def monitor_cpu():
while True:
cpu_percent = psutil.cpu_percent(interval=1)
print(f"当前CPU使用率：{cpu_percent}%")
time.sleep(1)
# 内存监控函数
def monitor_memory():
while True:
memory = psutil.virtual_memory()
print(f"当前内存使用率：{memory.percent}%")
time.sleep(1)
# 创建线程
cpu_thread = threading.Thread(target=monitor_cpu)
memory_thread = threading.Thread(target=monitor_memory)
# 启动线程
cpu_thread.start()
memory_thread.start()
# 主线程等待其他线程结束
cpu_thread.join()
memory_thread.join()
通过多线程的方式，我们可以同时监控多个系统资源，并且每个资源的监控任务会独立执行，减少了等待时间。
6.4 持久化数据存储与分析
对于长时间运行的监控任务，我们通常需要将监控数据保存到持久化存储中，以便后续分析、查询和生成报表。常见的数据存储方式包括文本文件、CSV文件、数据库等。
优化建议
- CSV文件存储： 将监控数据按时间戳保存为CSV文件，方便后续使用数据分析工具（如
pandas）进行分析。 - 数据库存储： 对于大规模的数据存储，使用关系型数据库（如MySQL、PostgreSQL）或NoSQL数据库（如MongoDB）进行持久化存储，可以提高数据管理和查询效率。
示例代码：将监控数据保存到CSV文件
import psutil
import csv
import time
# CSV文件路径
csv_file = "system_monitor.csv"
# 定义CSV文件的标题
headers = ["timestamp", "cpu_percent", "memory_percent", "disk_percent", "net_sent", "net_recv"]
# 创建并写入CSV文件的头部
with open(csv_file, mode='w', newline='') as file:
writer = csv.writer(file)
writer.writerow(headers)
# 定期获取监控数据并写入CSV文件
def monitor_system():
while True:
timestamp = time.strftime('%Y-%m-%d %H:%M:%S')
cpu_percent = psutil.cpu_percent(interval=1)
memory = psutil.virtual_memory()
memory_percent = memory.percent
disk = psutil.disk_usage('/')
disk_percent = disk.percent
net = psutil.net_io_counters()
net_sent = net.bytes_sent
net_recv = net.bytes_recv
# 将数据写入CSV文件
with open(csv_file, mode='a', newline='') as file:
writer = csv.writer(file)
writer.writerow([timestamp, cpu_percent, memory_percent, disk_percent, net_sent, net_recv])
# 每5秒记录一次
time.sleep(5)
monitor_system()
该代码会每隔5秒记录一次系统监控数据，并将其保存到CSV文件中，方便后续的数据分析。
6.5 数据分析与报表生成
在将监控数据存储后，我们可以利用pandas和matplotlib等工具，对数据进行进一步的分析和可视化，生成图表报表。比如，我们可以生成CPU、内存使用率随时间变化的折线图，以便运维人员直观地查看系统资源的变化趋势。
示例代码：使用pandas和matplotlib分析和可视化数据
import pandas as pd
import matplotlib.pyplot as plt
# 读取CSV文件
data = pd.read_csv("system_monitor.csv")
# 转换timestamp列为datetime类型
data["timestamp"] = pd.to_datetime(data["timestamp"])
# 绘制CPU使用率折线图
plt.figure(figsize=(10, 6))
plt.plot(data["timestamp"], data["cpu_percent"], label="CPU使用率", color="r")
plt.plot(data["timestamp"], data["memory_percent"], label="内存使用率", color="g")
plt.plot(data["timestamp"], data["disk_percent"], label="磁盘使用率", color="b")
plt.xlabel("时间")
plt.ylabel("使用率 (%)")
plt.title("系统资源使用情况")
plt.legend()
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()
以上代码会读取CSV文件中的数据，并绘制出CPU、内存和磁盘的使用率随时间变化的折线图，从而帮助运维人员快速识别系统资源使用的异常情况。
7. 总结与展望
在本文中，我们深入探讨了如何使用psutil库来监控系统的各项资源，包括CPU、内存、磁盘和网络的使用情况。通过大量的代码示例，我们详细展示了如何利用Python脚本实现系统监控、定时任务、生成报表与数据可视化的功能，并讨论了如何优化脚本以提高性能。
总结
-
psutil库的强大功能：psutil库提供了简单且高效的API来获取系统各项资源的使用情况。通过该库，我们能够实时监控系统的健康状况，为运维人员提供有力的支持。 -
文本与图表报表生成：通过生成文本报表，我们可以方便地记录系统的各项数据并进行追踪。而结合
matplotlib、pandas等可视化工具，我们能够将数据转化为图表，帮助分析趋势和发现潜在问题。 -
性能优化：在长时间监控的过程中，性能优化至关重要。通过合理设置采样频率、调整延时执行、使用线程池等方式，我们可以有效减少脚本对系统资源的占用，提升监控的效率与可扩展性。
展望
随着云计算、容器化和微服务架构的快速发展，传统的单机系统监控已不能满足复杂应用环境下的需求。未来的系统监控将面临更多的挑战，需要更加智能化、自动化的监控手段来应对大规模、分布式和多维度的数据。
-
云环境与分布式监控：
psutil主要用于单机环境的资源监控，如何将其扩展到云平台（如AWS、Azure）和容器化（如Kubernetes）环境中，是一个值得探索的方向。可以结合其他云平台提供的SDK与API，来实现对云资源的动态监控。 -
智能化监控与告警：随着机器学习和人工智能技术的发展，未来的监控系统将不再仅仅依赖于规则设定的阈值进行告警，而是可以通过分析历史数据，预测系统的未来趋势，从而提前发现潜在的问题并进行预警。
-
多维度监控与数据融合：除了CPU、内存、磁盘和网络等基本资源，未来的监控系统还需要对应用层、数据库、容器等多个维度的数据进行监控，并能够将这些数据融合在一起，提供更为全面的系统状态视图。
-
轻量级监控与边缘计算：随着边缘计算的兴起，如何在资源有限的设备上实现高效的性能监控是一个值得关注的问题。轻量级的监控工具和更高效的数据处理方式将成为未来监控系统的一个发展方向。
扫一扫
2286
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
