如何优雅地导入数据?一些经验
-
大家在用SQL server或者postgresql的时候,肯定遇到过导入数据的问题。
打算开这个贴子总结一些经验,欢迎大家参与鸭!
-
- 根据我实习的经验,csv / txt 不好直接导入SQL的时候,可以先导入Access,然后再导入SQL。
- 导入失败十有八九是编码没有搞对。
- 也可以先导入python pandas调教数据,调成数据库想要的格式,然后再进行导入。
在我最近的一个project中,需要把数据导入postgresql,postgresql支持的escape character 是“\”。所以,就要把数据调成sql想要的格式。调教数据的代码如下
location = pd.read_csv("./data.csv", encoding="ISO-8859-1") location.to_csv("./data_fined.csv", quotechar = "\"")