12.5　Web数据

互联网上包含了大量数据，但如果你想手动访问网站下载那里的数据文件，然后再把它从硬盘中读取到R中，这一系列动作需要大量的手动操作（且也不易扩展）。

幸好，R有很多种方式可以从网络源导入数据并以编程的方式检索数据，这就使数据处理的工作事半功倍。

12.5.1　拥有API的网站

有一些包可通过网站的API接口直接下载数据到R系统。例如，世界银行已在其网站上公开了它的世界发展指标数据，WDI包可以让你轻松地在R中将这些数据导入。要运行以下例子，你需要先安装WDI包：

  1. install.packages("WDI")
  3. library(WDI) 
  5. # 列出所有可用的数据集
  6. wdi_datasets <- WDIsearch() 
  7. head(wdi_datasets)
  9. ##      indicator          
  10. ## [1,] "BG.GSR.NFSV.GD.ZS"
  11. ## [2,] "BM.KLT.DINV.GD.ZS"
  12. ## [3,] "BN.CAB.XOKA.GD.ZS"
  13. ## [4,] "BN.CUR.GDPM.ZS"   
  14. ## [5,] "BN.GSR.FCTY.CD.ZS"
  15. ## [6,] "BN.KLT.DINV.CD.ZS"
  16. ##      name                                                                      
  17. ## [1,] "Trade in services (% of GDP)"                                            
  18. ## [2,] "Foreign direct investment, net outflows (% of GDP)"                      
  19. ## [3,] "Current account balance (% of GDP)"                                      
  20. ## [4,] "Current account balance excluding net official capital grants (% of GDP)"
  21. ## [5,] "Net income (% of GDP)"                                                   
  22. ## [6,] "Foreign direct investment (% of GDP)"   
  24. # 取其中一个
  25. wdi_trade_in_services <- WDI( 
  26.    indicator = "BG.GSR.NFSV.GD.ZS" 
  27. )
  28. str(wdi_trade_in_services)
  30. ## 'data.frame':   1764 obs. of  4 variables:
  31. ##  $ iso2c            : chr  "1A" "1A" "1A" "1A" ...
  32. ##  $ country          : chr  "Arab World" "Arab World" "Arab World"  ...
  33. ## $ BG.GSR.NFSV.GD.ZS : num 17.5 NA NA NA ...
  34. ## $ year 　　　　　　　 : num 2005 2004 2003 2002 ...

SmarterPoland包提供了类似的功能，它封装了波兰政府的数据。使用quantmod包可以访问股票行情（默认是雅虎的数据，也可以选择其他几个数据源）：

  1. library(quantmod) 
  2. # 如果你正在使用0.5.0之前的版本，那么请设置以下选项，
  3. # 或者把参数auto.assign = FALSE传给getSymobols。
  4. options(getSymbols.auto.assign = FALSE) 
  5. microsoft <- getSymbols("MSFT")
  7. head(microsoft)
  9. ##            MSFT.Open MSFT.High MSFT.Low MSFT.Close MSFT.Volume 
  10. ## 2007-01-03     29.91     30.25    29.40      29.86    76935100 
  11. ## 2007-01-04     29.70     29.97    29.44      29.81    45774500 
  12. ## 2007-01-05     29.63     29.75    29.45      29.64    44607200 
  13. ## 2007-01-08     29.65     30.10    29.53      29.93    50220200 
  14. ## 2007-01-09     30.00     30.18    29.73      29.96    44636600 
  15. ## 2007-01-10     29.80     29.89    29.43      29.66    55017400 
  16. ##             MSFT.Adjusted 
  17. ## 2007-01-03     25.46 
  18. ## 2007-01-04     25.42 
  19. ## 2007-01-05     25.27 
  20. ## 2007-01-08     25.52 
  21. ## 2007-01-09     25.54 
  22. ## 2007-01-10     25.29

TwitterR包能够访问Twitter账号及其微博信息。只需要事先配置好（由于Twitter的API需要你创建一个应用程序，并使用OAuth进行注册。请阅读此包的安装说明），此包就能非常容易地导入Twitter的数据并作进一步的网络分析，或假装工作而实际上只是在刷微博。

12.5.2　抓取网页

R有内置的web服务器，所以某些需要读取数据的函数默认是带有网络访问功能的。read.table（及其衍生函数，例如read.csv）接受一个URL作为参数（而不是一个本地文件），它会在导入数据之前将副本下载到一个临时文件中。例如，经济研究员Justin Rao的网站有从2002年到2008年间的NBA工资数据：

  1. salary_url <- "http://www.justinmrao.com/salary_data.csv" 
  2. salary_data <- read.csv(salary_url) 
  3. str(salary_data)

由于通过互联网访问一个大文件时速度可能会很慢，如果经常使用该文件，更好的策略是用download.file对要下载的文件创建一个本地副本，然后再导入：

  1. salary_url <- "http://www.justinmrao.com/salary_data.csv" 
  2. local_copy <- "my local copy.csv" 
  3. download.file(salary_url, local_copy) 
  4. salary_data <- read.csv(local_copy)

其他更高级的网页访问方法可以在RCurl包中找到，它能访问libcurl网络客户端接口程序库。如果你的数据包含在HTML或XML页面中，而不是刚好被放在网络上的标准数据格式（如CSV）时，这一点尤其有用。

下例将从美国海军天文台时间服务部的网站上检索几个时区中的当前日期和时间。getURL函数将访问页面并将其内容以字符串的形式返回：

  1. library(RCurl) 
  2. time_url <- "http://tycho.usno.navy.mil/cgi-bin/timer.pl" 
  3. time_page <- getURL(time_url) 
  4. cat(time_page)
  6. ## <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final"//EN> 
  7. ## <html> 
  8. ## <body> 
  9. ## <TITLE>What time is it?</TITLE> 
  10. ## <H2> US Naval Observatory Master Clock Time</H2> <H3><PRE> 
  11. ## <BR>Jul. 17, 20:43:37 UTC Universal Time 
  12. ## <BR>Jul. 17, 04:43:37 PM EDT Eastern Time 
  13. ## <BR>Jul. 17, 03:43:37 PM CDT Central Time 
  14. ## <BR>Jul. 17, 02:43:37 PM MDT Mountain Time 
  15. ## <BR>Jul. 17, 01:43:37 PM PDT Pacific Time 
  16. ## <BR>Jul. 17, 12:43:37 PM AKDT Alaska Time 
  17. ## <BR>Jul. 17, 10:43:37 AM HAST Hawaii-Aleutian Time 
  18. ## </PRE></H3><P><A HREF="http://www.usno.navy.mil"> US Naval Observatory</A> 
  19. ## 
  20. ## </body></html>

下一步几乎总是使用XML包中的htmlParse（或相关函数）解析页面。这使你可以提取其有用的节点。在下例中，以\n（换行符）为分隔符将得到每个时间线，使用\t（制表符）分隔则能获得时间/时区对：

  1. library(XML) 
  2. time_doc <- htmlParse(time_page) 
  3. pre <- xpathSApply(time_doc, "//pre")[[1]] 
  4. values <- strsplit(xmlValue(pre), "\n")[[1]][-1] 
  5. strsplit(values, "\t+")
  7. ## [[1]] 
  8. ## [1] "Jul. 17, 20:43:37 UTC" "Universal Time" 
  9. ## 
  10. ## [[2]] 
  11. ## [1] "Jul. 17, 04:43:37 PM EDT" "Eastern Time" 
  12. ## 
  13. ## [[3]] 
  14. ## [1] "Jul. 17, 03:43:37 PM CDT" "Central Time" 
  15. ## 
  16. ## [[4]] 
  17. ## [1] "Jul. 17, 02:43:37 PM MDT" "Mountain Time" 
  18. ## 
  19. ## [[5]] 
  20. ## [1] "Jul. 17, 01:43:37 PM PDT" "Pacific Time" 
  21. ## 
  22. ## [[6]] 
  23. ## [1] "Jul. 17, 12:43:37 PM AKDT" "Alaska Time" 
  24. ## 
  25. ## [[7]] 
  26. ## [1] "Jul. 17, 10:43:37 AM HAST" "Hawaii-Aleutian Time"

httr包基于RCurl，它能提供了更好的语法，使我们的工作更加方便。在httr中，相当于RCurl包中getURL的函数是GET，content函数能在检索页面内容的同时解析它。在下例中，我们将传入useInternalNodes = TRUE来模仿htmlParse的行为，并重复上例中的行为：

  1. library(httr) 
  2. time_page <- GET(time_url) 
  3. time_doc <- content(page, useInternalNodes = TRUE)