pandas常见的棘手编程汇总

一、批量更新数据库表的字段

例如有些字段在创建时采用无意义字符，采集时间_abc_untest-其他等情况

数据库链接

import pymysql

user="***"
psw="***"
host="***"
db1="dbtest"
db2="information_schema"
conn_data=pymysql.connect(user=user,password=psw,host=host,database=db1)
conn_schema=pymysql.connect(user=user,password=psw,host=host,database=db2)

sql占位说明

sql占位填充说明1

sql=f"ALTER TABLE `%s` RENAME COLUMN `%s` TO `%s`"
cursor.execute(sql,(table_name,old_col,new_col))

当要处理的表有是中文加各种符号时，提示

"""
提示：dbtest.'信息采集表_2021（某某某地）' 表不存在
原因：占位填充的是'信息采集表_2021（某某某地）'，而不是`信息采集表_2021（某某某地）`
"""

sql占位填充说明2

sql=f"ALTER TABLE %s RENAME COLUMN %s TO %s"
cursor.execute(sql,(table_name,old_col,new_col))

当要处理的表有是中文加各种符号时，提示:

"""
原因：占位填充的是 education.信息采集表_2021（某某某地），显然无法识别
"""

正确的sql占位填充说明

sql1=f"ALTER TABLE %s RENAME COLUMN `%s` TO `%s`"
cursor.execute(sql1,(table_name,old_col,new_col))

原因：

原因：因为中文的表名有各种符号，因此，必须将表名填充为`信息采集表_2021（某某某地）`，mysql才能正确解析sql语句

查询需求修改的相关表和字段

def get_table_by_column_name(index_name='',onn=conn_schema,db=db1):
    cols_sql="""select table_name,column_name from columns where column_name like %s and table_schema=%s"""
    df=pd.read_sql_query(cols_sql,con=conn,params=[f"%{
     index_name}%",db])
    return df

查找符合特征的表和字段

例如字段符合采集时间_abc_untest-其他这样的特征，

bad_cols=get_table_by_column_name('untest')

出来两列数据表名和字段名

保留字段里面的中文，去到其他字符

def handle_col(cell):
    m=re.match("([\u4e00-\u9fa5].*?)_",cell)
    if m:
        result=m.group(1) # 提取出中文，
        return re.sub("（|）",'',result) # 再次剔除中文里面的&#x