13518219792
這篇文章主要介紹python為什么讀取大文件越來越慢，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！
成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的龍華網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！python主要應(yīng)用領(lǐng)域有哪些1、云計(jì)算，典型應(yīng)用OpenStack。2、WEB前端開發(fā)，眾多大型網(wǎng)站均為Python開發(fā)。3.人工智能應(yīng)用，基于大數(shù)據(jù)分析和深度學(xué)習(xí)而發(fā)展出來的人工智能本質(zhì)上已經(jīng)無法離開python。4、系統(tǒng)運(yùn)維工程項(xiàng)目，自動(dòng)化運(yùn)維的標(biāo)配就是python+Django/flask。5、金融理財(cái)分析，量化交易，金融分析。6、大數(shù)據(jù)分析。
背景：
今天同事寫代碼，用python讀取一個(gè)四五百兆的文件，然后做一串邏輯上很直觀的處理。結(jié)果處理了一天還沒有出來結(jié)果。問題出在哪里呢？
解決：
1. 同事打印了在不同時(shí)間點(diǎn)的時(shí)間，在需要的地方插入如下代碼:
print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))發(fā)現(xiàn)一個(gè)規(guī)律，執(zhí)行速度到后面時(shí)間越來越長，也就是處理速度越來越慢。
2. 為什么會越來越慢呢？
1）可能原因1，GC 的問題，有篇文章里面寫，python list append 的時(shí)候會越來越慢，解決方案是禁止GC:
使用 gc.disable（）和gc.enable（）
2）改完上面，仍然不行，然后看到一篇文章里面寫，可能是因?yàn)?git 導(dǎo)致的，因?yàn)閍ppend 的時(shí)候 git 會不斷同步，會出問題，于是刪除 .git 文件夾，結(jié)果還是不行。
3）繼續(xù)查詢，發(fā)下一個(gè)及其有可能出問題的地方。dict 的 in dict.key()，判斷 key 是否在 dict 里面，這個(gè)的效率是非常低的。看到一篇文章比較了效率：
① 使用 in dict.keys() 效率:
② 使用 has_key() 效率:
發(fā)現(xiàn) has_key() 效率比較穩(wěn)定。于是修改，問題解決。
后話：
最初的時(shí)候，的確是使用 has_key(), 結(jié)果后面上傳代碼的時(shí)候，公司代碼檢查過不了，提示不能使用這個(gè)函數(shù)，只能改成 in dict.key() 這種方式，為什么公司不讓這么傳呢？經(jīng)過一番百度，發(fā)現(xiàn)原因所在：在 python3 中，直接將 has_key() 函數(shù)給刪除了，所以禁止使用。那禁止了該怎么辦呢？原來 python 中 in 很智能，能自動(dòng)判斷 key 是否在字典中存在。所以最正規(guī)的做法不是 has_key(), 更不是 in dict.keys(), 而是 in dict. 判斷 key 在 map 中，千萬別用 in dict.keys() ！！！
附錄:
in、 in dict.keys()、 has_key() 方法實(shí)戰(zhàn)對比:
>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True以上是“python為什么讀取大文件越來越慢”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
