首页 » Python » pandas数据分析6:pandas处理分组数据后传入数据库进行数据更新

pandas数据分析6:pandas处理分组数据后传入数据库进行数据更新

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
import pymysql
import sqlalchemy
from sqlalchemy import create_engine
import pandas as pd
import warnings
import numpy as np
print(pymysql.version_info)
print(sqlalchemy.__version__)
warnings.filterwarnings("ignore")
pd.set_option('display.max_rows', None)      # 显示完整的行
# 建立数据库连接
# 创建连接参数
db_info = {
    'user':'',
    'password':'',
    'host':'..',
    'database':''
}

# 连接数据库的方法create_engine,这里就用了字典的格式化输出的方式
conn = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=gbk' % db_info,encoding='utf-8')


# 写sql获取需要的数据
sql_cg = '''
select 商机id,估价最大值,str_to_date(创建时间,'%%Y-%%m-%%d') as 创建时间,是否为真 from shangjidan
where str_to_date(创建时间,'%%Y-%%m-%%d') between str_to_date("2020-09-20",'%%Y-%%m-%%d') and str_to_date("2020-09-30",'%%Y-%%m-%%d')
'''
data1 = pd.read_sql(sql_cg,conn)
print(data1.head())

# 分组处理,并计算
data1_groupby1 = data1.groupby(by=['创建时间'],axis=0)
print(data1_groupby1.apply(lambda x:x))  # 这里没有任何计算,所以没有变化
print(data1_groupby1.apply(lambda x : x.max()))  # 平均数算不出来应该是类型有问题。这里算了所有值的最大值
# 分组后进行差别化统计,这里针对估价取最大值,对是否为真取众数,对创建时间做计数
data1['是否为真'] = data1['是否为真'].apply(lambda x: None if x == "" else x)
data1_groupby2 = data1.groupby(by=['创建时间'],axis=0)
print(data1_groupby2.agg({'估价最大值':np.max,'创建时间':'count','是否为真':'count'}))

data1_1 = data1_groupby2.agg({'估价最大值':np.max,'创建时间':'count','是否为真':'count'})
data1_1.columns = ['估价最大值','商机单个数','真品个数']
# 将数据传入数据库,因为有部分数据是要更新而不是新增。所以要使用下面的方法。

data1_1.to_sql('temp', conn, if_exists='replace', index=True)  # 把新数据写入 temp 临时表
USER_TABLE_NAME = 'ceshi'
args1 = f''' REPLACE INTO {USER_TABLE_NAME} SELECT * FROM temp'''

args2 = """ DROP Table If Exists temp """  # 把临时表删除

with conn.begin() as conn1:
    conn1.execute(args1)

with conn.begin() as conn1:
    conn1.execute(args2)

原文链接:pandas数据分析6:pandas处理分组数据后传入数据库进行数据更新,转载请注明来源!

0