重新回顾
发布后不久,我们的网页刮屏程序的运行负荷开始超出能够容忍的底线。即使使用通用的浏览器,似乎不论等待多长时间,都无法访问CrimeWatch网站。城市信息技术部相关人员的谈话,暗示我们一旦公众注意到这些访问问题,该网站就会不受欢迎。他们提供了通过官方访问这些数据的一些线索,但是他们那种作风的方式处理很慢,没有任何即时收效。我们很遗憾地关闭了该网站,花了几个月考虑优化程序以及改进策略,使它能够重新运转起来。在那时,我们尝试了两种思路来优化该系统,同时还开发实现了一个新功能。对系统的两种优化最终都未成功,而新开发的功能则对外发布了。这次修改过程的一个产出是生成更集中、实用的最终数据展现方式。
在思考如何最佳表示本地犯罪的影响时,我和Adam Greenfield的谈话激发了这种想法:“暴力是发生在某个地方的一种力。”在周边社区的谋杀或者抢劫所带来的长期影响可以被看做一个环(见图11-9)。这种想法的在我的大脑中产生的初始模型是一个空间-时间半球,球的空间半径约0.25里,时间半径是一周。这种可视化显示方式将是:从一个点开始,随着时间轴逐渐靠近精确的事件发生时间而变大为一个有色圆。Greenfild建议将半球转换为一对圆锥:犯罪的时间点是两个圆锥的共同的顶点,在时间轴上以这个点为起点向前和向后各有一个“光锥”(lght cone)。其视觉显示效果将是一个大的散开的圆圈随着逐渐接近事件发生的精确时间而逐渐清晰化,并最终汇聚为一个微小的点。这种展现方式的理念可能更适合于展示对象的随机属性。犯罪的潜在可能性可能很广,甚至可能涵盖整个社区。随着事件的曝光,这种潜在的危害逐渐聚焦为一个点-即某个邻居成为受害者,然后随着消息传播开来,个人安全感也消失了。
图 11-9:设想的一起谋杀或抢劫对周边社区的长期影响的两种方式
我们生成了很多交互式地图来探索这种以圆锥作为隐喻的方式,并发现了一些有趣的现象。其中一个现象是某些类型的报告存在依赖于其实施方式的唯一视觉签名。卖淫就是其中的一个特例。在之前的案例中,我们展现的绝大多数报告都是事件驱动的-受害者给我们打电话,而卖淫则是由警察局的决策和安排的严打所驱动的。通常,在前端展示上,关于卖淫方面,好几周都是风平浪静,而后会突发产生关于San Pablo Avenue或International Boulevard的迅猛的、翻天覆地的信息。遗憾的是,这种圆锥式的展示方式太怪异了,以致在主要的网站上无法使用。而在地图上,通过时间遍历的方法非常新颖,而且对我们来说,使报告展示和时间的关系控制尽量明朗是很重要的。圆锥式展示方式将还需要进一步试验。
在我们关闭网站时期,我们考虑到另一种可能的改进是采用分布式的网页刮屏方式(pge scraping)。正常的收集过程容易受到中断的原因是所有请求都来源于相同的网络地址,这使得这些请求在需要时很容易被阻塞。我们试验了一种分布式的模型,它是火狐浏览器的一个现成的插件,主要通过JavaScript控制。我们希望有足够多理解技术的访问者会愿意下载浏览器搜索框,帮助收集数据。这种方式,和通常的网站使用方式截然不同,发到CrimeWatch服务器的请求将会在每天不定时地被分散到很多访问IP地址中。这种处理过程的优点是在最后增加了人工错误纠正。中间件刮页过程的最后页面中包含了用户帮助收集的所有报告的总体概述,还可能标注某些匹配为不正确的。
在这期间开发的一个新功能是巡警区专用(bat-specific)页面,比如在商业地区和Lake Merritt地区之间的商业和居住区域:http://oakland.crimespotting.org/beat/04X(见图11-10)。当我们最初开发该服务时,我们有意识地决定忽略在CrimeWatch中出现的管理部门。警务服务区域、城市委员会区、邮递区、巡警区对我们而言都只是对定位的一个干扰。在发布后,我们很快明白了我们对巡警区的理解是错误的。用户告诉我们公民和警察局间的沟通主要的渠道是巡警区的警官,这些警官各自有特定的巡查区域且会定期与当地社区的居民开会沟通。报告按照巡警区进行划分是非常重要的,因为它匹配了任何给定的警官关注的区域和责任。另外,巡警区的边界通常是该城市的明显的物理特征,主要街道、小溪、高速公路和铁路都是作为社区的自我标识的关键特征。巡警区页面显示的是该区域的静态全局概要地图,以及对于习惯于电子表格软件的非技术人员来说,它是比较有用的一部分API。在这个功能中,我们收到的最终的反馈是非常宝贵的。居民说:“我们下周有Beat1X NCPC(社区犯罪预防委员会)会议……我可以比那些老警察(OD)准备得更充分……到目前为止,他们几乎没有将统计数据分享给我们。”
火狐浏览器插件及其关联的Web服务控制器完成后,正在计划做一些有限的、实验性的首次展示的时候,奥克兰城市官方报纸Ci ty of Oakland告诉我们,他们将每天晚上给我们提供一个包含合适的街道地址和岔路口的完整的全城范围的犯罪报告信息列表。从2008年1月开始,一直持续到今天,由于市政创建者以及与我们一起工作的数据管理员帮助,我们的数据收集过程已经从冗余、易错的事件驱动方式转化为敏捷的处理方式。最终,在奥克兰CTO Bob Glaze、项目经理Ahsan Baig和City的Julian Ware和Andrew Wang的帮助下,我们获得了在夜间生成的官方犯罪报告数据的Microsoft Excel电子表格。改进后的系统和之前的犹如天壤之别:原来需要几个小时的数据收集和处理,现在只需几分钟。定位信息也变得更加真实可靠,地图信息详细到了街区级别,突出街道名称和叉路口特征,取代了原有的彩色图标。