13518219792
1W條數據量也不是特別大，那就直接讀取，然后在foreach入庫就可以了
創新互聯是一家專注于網站設計、網站制作與策劃設計,仙桃網站建設哪家好?創新互聯做網站,專注于網站建設十多年,網設計領域的專業建站公司;建站業務涵蓋:仙桃等地區。仙桃做網站價格咨詢:028-86922220
如果數據量非常大的時候，那就分段讀取，然后入庫~
考慮到php超時，那就網頁端打開，第一部分執行完，刷新頁面，開始執行第二部分，依次進行...
當然，直接在命令行下執行也可以~
你用網頁的方式，讓人點擊，服務器采集，簡直是弱爆了。每個人的點擊循環1000次，來個100人同時點，你要用的是普通的虛擬機就不行了。
最好是換種方式實現，不要通過網頁進行采集。
可以非常簡單的在數據庫的表，創建一個采集隊列，后臺執行一個crontab的計劃任務，去完成隊列里的采集任務。
1.PHP基本上就是一種數組語言。時常要進行大量的數組循環操作，主要有兩種方式，
一種是foreach，另一種是while，
代碼如下：
foreach ($array as $value) {
echo $value;
}
while (list($key) = each($array)) {
echo $array[$key];
}
foreach ($array as $value) {
echo $value;
}
while (list($key) = each($array)) {
echo $array[$key];
}
2.在循環里進行的是數組“寫”操作，則while比foreach快：
foreach ($array as $key = $value) {
echo $array[$key] = $value . '...';
}
while (list($key) = each($array)) {
$array[$key] = $array[$key] . '...';
}
foreach ($array as $key = $value) {
echo $array[$key] = $value . '...';
}
while (list($key) = each($array)) {
$array[$key] = $array[$key] . '...';
}
1、建議你讀寫數據和下載圖片分開，各用不同的進程完成。
比如說，取數據用get-data.php，下載圖片用get-image.php。
2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發多個子進程。
但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。
3、綜上，解決方案這樣：
（1）安裝gearman worker。
（2）寫一個get-data.php，在crontab里設置它每5分鐘執行一次，只負責讀數據，然后把讀回來的數據一條一條的扔到 gearman worker的隊列里；
然后再寫一個處理數據的腳本作為worker，例如叫process-data.php，這個腳本常駐內存。它作為worker從geraman 隊列里讀出一條一條的數據，然后跟你的數據庫老數據比較，進行你的業務邏輯。如果你要10個并發，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。
（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發隨便你。這個進程也常駐內存運行，從gearman worker的圖片數據隊列里取數據出來，下載圖片
4、常駐進程的話，就是在代碼里寫個while(true)死循環，讓它一直運行好了。如果怕內存泄露啥的，你可以每循環10萬次退出一下。然后在crontab里設置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'
不知道你明白了沒有
