学了python怎么使用mysql就应该实际操作起来用用呀。
爬取某网站上的数据并存入mysql，当然也包括存入csv文件。
因为一开始我是存csv，然后今晚学了连接数据库（学习进度有点慢呀）…

上主代码

import requests
import re
import MySQLdb
import csv
import time
import pandas as pd
from bs4 import BeautifulSoup
from requests import RequestException

#连接数据库
conn= MySQLdb.connect(
        host='localhost',
        port = 3306,
        user='root',
        passwd='a',
        db ='wangdai',  #数据库表 如果没有这个表则注释 使用执行语句建立一数据库
        charset='utf8',#设置编码集   如果没有则会报错UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-2: ordinal not in range(256)
        )
cur = conn.cursor() #要想使用数据库则还需要创建游标

#创建表
cur.execute("create table wdtest(wid int primary key auto_increment,name varchar(10),total int,rate varchar(10),pnum int,cycle varchar(10),p1num int,fuload varchar(10),alltotal varchar(10),capital varchar(10))")

#抓取页面
def get_page(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari / 537.11',
                              'Accept':'text/html;q=0.9,*/*;q=0.8',
                             'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                             'Connection': 'close',
                             'Referer': 'https://www.bluewhale.cc/'
    }
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求错误')
        return None

#解析页面  并写入数据
def parse_page(html):
    soup = BeautifulSoup(html,'lxml')
    tr = soup.find_all(name='tr',attrs={'class':'bd'})
    # tr = str(tr)
    for i in tr:
        # print(i)
        i = str(i)
        num = re.findall('<td class="num">(.*?)</td>',i)
        name = re.findall('.*?<a.*?title="(.*?)">',i)
        total = re.findall('<td class="total">(.*?)万</td>',i)
        rate = re.findall('<td class="rate">(.*?)%</td>',i)
        pnum = re.findall('<td class="pnum">(\d+)人</td>',i)
        cycle = re.findall('<td class="cycle">(.*?)月</td>',i)
        p1num = re.findall('<td class="p1num">(.*?)人</td>',i)
        fuload = re.findall('<td class="fuload">(.*?)分钟</td>',i)
        alltotal = re.findall('<td class="alltotal">(.*?)万</td>',i)
        capital = re.findall('<td class="capital">(.*?)万</td>',i)
        print(num,name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital)
        # 写入csv数据
        write_csv(num,name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital)
        #写入数据库  因为是没获取一天数据插入数据库，这样操作太耗时！可以mysql的考虑批处理！
        save_msg_toMySql(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital)
        # print( tr)

#写入csv数据
def write_csv(num,name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital):
    columns = ['平台名称', '成交额(万)', '综合利率', '投资人(人)', '借款周期(月)', '借款人(人)', '满标速度(分钟)', '累计贷款余额(万)','净资金流入(万)']
    table = pd.DataFrame({'平台名称': name,
                          '成交额(万)': total,
                          '综合利率': rate,
                          '投资人(人)': pnum,
                          '借款周期(月)': cycle,
                          '借款人(人)': p1num,
                          '满标速度(分钟)': fuload,
                          '累计贷款余额(万)': alltotal,
                          '净资金流入(万)': capital},
             columns=columns)
    table.to_csv('wangdai.csv',mode='a',index=False,header=False) #不要索引 不要列头

#生成csv文件列头
def write_csv_lietou():
    columns = ['平台名称', '成交额(万)', '综合利率', '投资人(人)', '借款周期(月)', '借款人(人)', '满标速度(分钟)', '累计贷款余额(万)','净资金流入(万)']
    table = pd.DataFrame(columns=columns)
    table.to_csv('wangdai.csv',mode='a',index=False) #不要索引  是在第一行和第一列留一行

#保存数据到MySql
def save_msg_toMySql(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital):
    sql = 'insert into wdtest(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital) values(%s,%s,%s,%s,%s,%s,%s,%s,%s)'
    cur.execute(sql,(name,total,rate,pnum,cycle,p1num,fuload,alltotal,capital))
    #提交  记得commit一下，否则你的数据都没有到数据库哦
    conn.commit()


#主函数
if __name__ == '__main__':
    url = 'http://www.p2peye.com/shuju/ptsj/'
    html = get_page(url)
    #生成含有csv的列头
    write_csv_lietou()
    parse_page(html)

有一个疑问：就是生成一个csv文件，怎样不重复生成列头…代码中的方法虽然可行，但我感觉还有其他更好的方法，但是没搜到。如果你知道，望请教！

数据到手，下一步？