1  # !/usr/bin/python2.5.2
 2  # -*- coding: utf8 -*-
 3 
 4  import  codecs
 5 
 6  PageProfiles  =  (
 7    {
 8       " Name "  :  " sina " ,
 9       " Link "  : {
10         " sz "  :  " http://finance.sina.com.cn/realstock/company/sz%s/nc.shtml " ,
11         " sh "  :  " http://finance.sina.com.cn/realstock/company/sh%s/nc.shtml " ,
12      },
13       " Pattern "  : {
14         " PriceClose "  :  " //span[@id='itemPrevious2'] " ,
15         " QuoteLast "  :  " //h3[@id='itemCurrent'] " ,
16         " BookValuePerShareYear " : " //td[@id='cwjk_mgjzc'] " ,
17         " EPS "  :  " //td[@id='cwjk_mgsy'] " ,
18         " MarketCap "  : " //span[@id='totalMart2'] " ,
19         " PE "  : " //td[@id='pe_ratio_lyr'] " ,
20         " Float " : " //div[@id='con04-0']/table/tbody/tr[4]/td[2] " ,
21         " CashPerShareYear "  :  " //div[@id='con04-0']/table/tbody/tr[2]/td[1] " ,
22         " Volume " : " //span[@id='itemVolume2'] " ,
23      },
24       " PostProcess "  : {
25         " all "  : {
26           " RemoveString "  : [r " , " , r " % " , r " 元 " ]
27        },
28      },
29     ...
30  )
31 
32  SiteProfiles  =  {
33     " sina "  : {
34       " BaseLink "  :  " http://finance.sina.com.cn " ,
35       " PageProfileNames "  : [ " sina " , " sina_DPSRecentYear " , " sina_other " ]
36    },
37    ...
38  }
39 
40  CrawlProfiles  =  {
41     " test "  : {
42         " Sites "  : [ " baidu " , " sina " , " yahoo " ],
43         " Criteria "  : [ " Float " ,  " PE " ,  " MarketCap " ,  " EPS " ,  " PriceClose " ,  " QuoteLast " ,  " BookValuePerShareYear " , 
44                       " CurrentRatioYear " ,  " NetProfitMarginPercent " ,  " GrossMargin " ,  " CashPerShareYear " , 
45                       " DPSRecentYear " ,  " High52Week " ,  " Low52Week " , " Volume " ],  
46         " TickerListFile "  :  " tickerList.txt " ,
47         " ResultFiles "  :  " result_%s.txt " ,
48         " NumTickerPerSite "  :  " 20 "
49      },
50    ...
51  }
52 
53  ExchangesProfiles = {
54       " HongKong " : " HKG " ,
55       " UK " : " LON " ,
56       " Canada " :[ " CVE " , " TSE " ],
57       " France " : " EPA " ,
58       " Italy " :[ " ISE " , " BIT " ],
59       " TaiWan " : " TPE " ,
60       #  "China Mainland":["SHA","SHE"],
61          ...
62  }
63 
64  class  CrawlSettings:
65    
66     def  GetCrawlProfile(self, name):
67       if  name  in  CrawlProfiles:
68         return  CrawlProfiles[name]
69       return  None
70    
71     def  GetSiteProfile(self, name):
72       if  name  in  SiteProfiles:
73         return  SiteProfiles[name]
74       return  None
75    
76     def  GetPageProfile(self, name):
77       for  prof  in  PageProfiles:
78         if  prof[ " Name " ]  ==  name:
79           return  prof
80       return  None
81    
82     def  LoadTickerList(self, filename):
83      f  =  codecs.open(filename,  ' r ' ,  ' utf-8 ' )
84      list  =  []
85       for  line  in  f:
86        list.append(line.strip())
87 
88      f.close()
89       return  list
90 
91     def  GetStockType(self, ticker):
92         if  str(ticker)[0] == ' 0 '   or   str(ticker)[0] == ' 2 ' :
93             return   " sz "
94         elif  str(ticker)[0] == ' 6 '   or  str(ticker)[0] == ' 9 ' :
95             return   " sh "
96         else :
97             return   " all "

 1  # !/usr/bin/python2.5.2
 2  # -*- coding: utf8 -*-
 3 
 4  import  sys
 5  import  codecs
 6 
 7 
 8  class  FinanceAutomationResult:
 9     # ##  Save / Load / Generate the result comparison ###
10 
11     def  SaveAsSiteResults(self, results, siteList, criteriaList, tickerList, fileName):
12       # ## results[site][criteria][ticker] 
13       # ##  Save as "result_site.txt": 
14       # ## ticker   criteria1 criteria2 .. 
15       # ## ticker1    1        2
16       # ## ticker2    1        2
17       # ##
18       for  site  in  siteList:
19      ...
20 
21     def  SaveAsCriteriaResults(self, results, siteList, criteriaList, tickerList, fileName):
22       # ## results[site][criteria][ticker] 
23       # ## Save as "result_criteria.txt": 
24       # ## ticker   site1     site2  .. 
25       # ## ticker1    1        2
26       # ## ticker2    1        2
27       # ##
28       for  criteria  in  criteriaList:
29      ...
30 
31     def  CompareResult(self, results, siteList,criteriaList, tickerList):
32      
33       for  criteria  in  criteriaList:
34      ...