1、材 料 目 录 清 单l 材料一 新型O2O免邮社区购创业方案书l 材料二 附件1:调查问卷l 材料三 附件2:专利申请证明文件截图l 材料四 新型O2O免邮社区购平台操作手册材料一我们创业与梦想的起航200万快递员烦恼的终结3亿网购用户的期盼 目 录目 录3第一章 新型O2O免邮社区购概述51.1 新型O2O免邮社区购概述51.2 新型O2O免邮社区购工作流程61.3 O2O免邮社区购项目的创新与优势7第二章 新型O2O免邮社区购创意来源102.1 学校与社区快递现状调查102.2 社区居民或高校学生小物件网购现状调查112.3 市民网购现状采访122.4 快递员工作现状采访122.5 调查
2、总结12第三章 新型O2O免邮社区购团队组建133.1 创业计划与进度安排133.2 公司组建143.3 社区选择原则163.4 商品分类原则173.5 运营特点183.6 盈利模式18第四章 新型O2O免邮社区购平台总体架构与设计204.1 平台总体架构204.2 数据库建设214.3 平台开发工程源码目录结构224.4 平台界面设计24第五章 新型O2O免邮社区购平台商品采购算法275.1 爬虫算法概述275.2 相关概念285.3 基于通用爬虫算法的商品信息聚焦爬虫算法设计285.3.1 通用爬虫算法与聚焦爬虫概念285.3.2 聚焦爬虫算法实现原理29第六章 成本与盈利分析326.1
3、可行性分析326.2 运营成本预算346.3创业启动资金筹措356.4盈利分析35参 考 文 献37附件1: 调查问卷38附件2: 专利申请证明文件截图40第一章 新型O2O免邮社区购概述1.1 新型O2O免邮社区购概述传统O2O当前大家熟知的O2O:Online To Offline,线上组团、购物与结算,线下按社区(学校、小区等)离线收货与确认,实现将线下商务机会与互联网结合在一起,让互联网成为线下交易的前台,我们暂且称之为传统O2O。其组团方式是单个商品组团,购买客户不限地域,因此它仅适用于线下消费(如酒店、餐饮等)商品或服务的团购。这种电子商务团购形式是一种网络电子商务与实体经营相结合
4、的最近两三年来飞速兴起和发展的电商模式。新型O2O本创意电子商务方案是在以上传统O2O基础上发展的一种新型O2O团购方式。它与普通O2O最大的不同是组团对象不是单件商品(或服务)为一个团,而是属于某一店家的所有商品为一个团,商品类型也不仅仅局限于线下消费商品。其购买客户会根据地域分成不同社区,同一社区的所有成员购买同一店家的各种商品累计成一个团。凭借社区优势,线上购买商品后线下定点取货,以此实现对客户购物免邮的目的。其最大的优势就是集中购物,聚集资金,加大与商家的谈判能力,以获得最优惠的价格购买商品,集中配送,降低物流成本,同时能够实现低价值(邮寄成本比例过高)小物件电商化,不失为一种较为合理
5、的电商发展新模式。我们称这种新型电商模式为O2O免邮社区购,简称社区购。社区购概念的由来O2O免邮社区购是我们提出的一种全新的电子商务团购模式。对单个用户来说,只需选择团购按商品价格进行网络支付(无需支付邮费),成团到货后接收短信通知并去指定网点面签和取货。对于同一社区群体来说,社区群体就是一个购物团体单位,当群体购物总价值或总数量达到一定的规模时,商家可以低成本免邮费采购这些商品然后分发给群体中的个人。对于社区购经营商家来说,需要建设电商网站、分区组团、分社区统一采购进货、分用户包装、短信通知用户、确认身份并分发商品。社区购中的社区概念借用了一般的社区概念,一般的社区是指有共同文化的居住于同
6、一区域的人群,其特征是有“共同文化”或者“共同地域”,“社区购”的社区强调“共同地域”和“群体规模”。地域范围限制在同一社区中的群体经常活动范围。可以是一所学校、一个企事业单位、一个居民小区或者极其邻近的街道、村落。群体规模有最少数量限制,至少在1000位用户及以上。1.2 新型O2O免邮社区购工作流程O2O社区购按区域组成电子商务购物社区,比如一所学校是一个社区来设置和布点,一定规模的居民小区是一个社区购布点,一个企事业单位也可以组成一个社区购布点(如图1-1所示)。图1-1 O2O社区购的流程图网站经营方提供各种物品(主要是单件采购在一般网站的邮费占比较重的小物品)供社区成员网购,社区成员
7、购物并支付到电商商家的支付宝账。当社区成员所购物品按进货来源分类已经达到团购数量或者金额时,自动组合成不同的团购免邮包裹,此时社区购经营商家通知提供货源的电子商务网站发货,商品直接邮寄到社购分点,由社购分点的营业人员直接通知买主来社区取货点取货。免邮社区购网站的功能是让用户通过注册账号,登录O2O免邮社区购网站,任意选择自己想要购买的商品,填写订单信息,完成在线支付(免去邮费)等流程后,网站平台会将来自于同一供应商的不同商品在免邮购网站后台自动累计组团,只要货源相同的所有商品都自动统计成团,累积订单数量从而达到我们与货源商家协商的优惠(免邮)标准,这样网购用户不仅可以在我们的网站上随心以相对的
8、价钱购买任意商品,更重要的是在购买价格低廉的小商品时不再需要考虑相对较高的邮费。为了方便买方随时取邮件,我们会在达到一定人口数量的高校或社区设立实体社区收货网点,用来统一接收存放该区域网购用户的订单物品,并通知社区的网购用户领取商品。1.3 O2O免邮社区购项目的创新与优势一、提出了O2O免邮社区购电商新模式。此新型模式已申报国家专利(证明资料参见图1-2。注:根据大赛要求特隐去个人信息内容)。与传统O2O或普通商品团购相比(需要实质发货),主要有以下几点不同: 传统O2O特别适用于餐饮、酒店、服务等无需实质发货的消费行业,线上付款,线下消费。新型O2O免邮社区购对销售物品的性质没有限制,线上
9、付款,线下消费或取货。 普通商品团购(需要实质发货)是对某一商品为一个团购内容,团购成员地域不限,累积购买数量达到团购数量即成团,成团后商家需要将商品邮寄给分散在各地的购买者,对购物者来说是一种完全线上模式。新型O2O免邮社区购该模式采用线上线下相结合的形式,线上建立O2O免邮社区购的网络购物网站平台,线下在部分社区设立实体收货网点。购买者直接到社区收货网点面对面取货。团购成员限于同一社区成员。图1-2 国家知识产权局颁发的专利实审通知书二、实现了小物件网购彻底免邮。新型O2O免邮社区购跨越小物件电子商务运营的障碍,大大降低了小物件电子商务交易的成本,使小物件的电子商务交易成为可能。 目前电子
10、商务网购交易中对于低廉小商品的交易存在许多局限性,比如对于许多2元、10元左右的小物件商品,网购消费者在购买时考虑到占比很高的邮资成本,会难于决定购买,或者需要凑单达到一定价值来免邮。而本项目社区购的电商网购模式是按用户订单的货源(商家)分类,同一货源所有商品累计到一定数额之后,达到与供货商家协商的优惠标准(比如免邮等),这样网购用户可以直接选择想要购买的商品。即使是2元一件的小物品,也可以轻松免邮买到,而不必考虑高于物价成本或占比例很高的邮费。三、解决了快递最后100米的问题。通过社区购采购的商品,物流统一送货到社区网点,由购物者自行到网点拿货。基于社区设点、取货时间自由,区域定点方便顺路的
11、优势,实现自取货物的线下无物流模式。解决了快递最后100米的难题。同时,当社区购建立在高校校园或居民小区时,能够解决高校学生群体上课不能随时收发或社区成员不在家无法收发网购快递的烦恼。四、转变被动物流快递模式为主动物流快递模式。目前邮寄快递存在必须预约、入户、投递未妥多次周转等问题,快递员被动送货,购物者被动收货。新型O2O免邮社区购全面铺开后社区网点具有集中社区快递的天然优势,因此社区网点自然会拓展收发快递的副业。所有快递公司按照安排的时间送货到社区网点,用户主动到网点取货,显然被动快递模式转变成为了主动快递模式。五、依托于O2O免邮社区购电商平台,构建了一种新算法,实现与电商企业合作的新模
12、式。新型O2O免邮社区购合作模式不同于传统的企业合作,通过协商,供货商只要愿意共享其在线销售的商品图片和基本商品信息,社区购平台通过基于提出的新算法根据需要抓取供货商网站商品信息。自动抓取网页上的商品图片以及商品信息用于免邮购网站展示,以便客户购物挑选。这种抓取方法就是社区购平台专门设计的基于正则表达式的爬虫算法。第二章 新型O2O免邮社区购创意来源2.1 学校与社区快递现状调查不难发现,几乎每天在校园的门口或者小区的门口都有不同的快递公司的快递员在那边收发快递,包裹被随地堆放在地上,不管是什么包裹都互相压在一起。据调查,80%以上的小区都存在将快递勉强寄存在门卫或物业公司处的现象,快递取件并
13、无专门人员管理,居民取件完全靠自觉,去错快件、丢失快件时有发生。在各大高校更是夸张,物流公司在校园门口设摊现象非常普遍,我们根据随机抽取的一家普通偏小规模的高校进行调查统计,顺丰快递每天有200件左右快递,最少的也有30到50件,每天有5家以上快递公司在校门口或周边设摊等候。快递电动车、三轮车、各种快递包裹在校园摊点显得非常凌乱,严重影响校园环境(如图2-1)。同学们上课时有快递电话或短信,上课下课都到校门口接收快递,严重影响课堂纪律。图2-1 目前网购快递送货现场之乱象怎么改善这种快递设摊乱像?怎么防止同学们上课忙于取快递影响学习?防止上班无法接收家里的快递?当下之急是建立社区或学校快递收发
14、网点!但是在市场经济的社会,纯粹建立收发网点显然快递量大、需要人力成本、房租成本,总之成本太高不现实。所以依托于某一项目把收发快递作为副业值得考虑!2.2 社区居民或高校学生小物件网购现状调查网购市场前景广阔。根据中国互联网信息中心发布的第33次中国互联网发展状况统计报告显示,截至2013年12月底,我国网民总数达到6.18亿,在这6.18亿网民中。报告指出:网络购物用户规模持续增长,团购成为增长亮点。商务类应用保持较高的发展速度,其中网络购物以及相类似的团购尤为明显。2013年,中国网络购物用户规模达3.02亿人,使用率达到48.9%。团购用户规模达1.41亿人,团购的使用率为22.8%,是
15、增长最快的商务类应用。商务类应用的高速发展与支付、物流的完善以及整体环境的推动有密切关系,而团购出现“逆转”增长,意味着在经历了野蛮增长后的洗牌,团购已经进入理性发展时期。小物件网购令网民纠结烦恼。电子商务网购市场发展迅速的主要原因是因为网购便捷、搜索商品方便、商品价格比实体店便宜。但根据调查,小物件(邮费成本比例高的物件)网购还不方便,尤其是学生群体在购物时购物大部分购买的是小物件、单件购买常常不得不付出10%以上的邮费,或者为了凑足免邮金额而买些不需要买的东西,造成浪费。在社区与高校网购群体的调查中,设置问题:如果你很想网购的物件本身价格便宜,如价格在60元以下,邮费为6元,你是怎么做的?
16、 多购买一些其它商品凑足免邮 毫不犹疑,喜欢就买 常常放弃购买 因为要用,没办法还是买了,但总是很纠结根据我们统计结果显示,10%用户选择A, 30%的用户选择C,50%的用户选择D,这表明90%的用户对购买小商品不满意。如果有一个购物网站,可以团购其他网站的商品,不需要邮费,等短信通知后随时到学校或社区站点自取商品,你会去这个网站购物么?A. 会考虑 B. 无所谓 C. 不考虑,只在之前习惯的网店购买根据我们统计结果显示,80%的用户选择A。表示据大多数用户希望购买免邮商品。2.3 市民网购现状采访我们调查时对市民进行了采访,结果表明,社区家庭网购还存在以下问题: 油盐酱醋、针线等小物件无法
17、直接少量购买。 社区居民不在家无法收发快递(邮递员多次投递未妥)。2.4 快递员工作现状采访 预约时间和快递入户花去大量时间。 快递电动车停在小区楼下,快递存放门卫导致错拿快件或是屡屡丢件。2.5 调查总结 以上情况均表明,创建免邮购物平台、发展社区快递网点是顺应目前电子商务发展和需要的项目,是值得推行和付诸实施的创业项目。第三章 新型O2O免邮社区购团队组建3.1 创业计划与进度安排 组建创业团队12年3月至9月,在导师指导下,基于调查和分析,确定了新型O2O免邮社区购项目,决定组建O2O免邮创业团队。团队成员为五人:导师、三名平台开发干将(10级两名和11级一名编程主将)、一名设计师(11
18、级新苗计划项目团队成员)、两名文秘(10级电商方向班级尖子生)。 申报专利12年10月至12月,创业团队进一步确定项目总体规划与思想,由导师起草,团队其它成员合作查找文献并申报专利。 确定方案与搭建开发平台13年1月至14年3月,利用课余时间多次讨论平台开发方案,最后确定了MVC架构的多层体系和开发方案,允许加入多个社区,以方便后期加盟与扩建,超级管理员下设社区管理员,各社区管理员管理多个部门,设定多级权限。创业组设计师负责整体架构设计和文档建设;两位文秘负责界面设计、数据库创建与商品信息收集,统计等事务;开发干将负责平台整体架构:一名负责前台开发设计,一名负责后台开发设计。整个项目由导师统一
19、协调沟通。目前平台开发基本完成,后期需要上线并进行支付宝接口调试、网站安全检测。 选择货源、确定试点经营社区13年8月到9月。我们的创业项目是以社区组团,社区选点是第一步,按照团队的特点是对高校比较熟悉,因此选择所在学校为首个试点社区。接下来就是选择货源,本项目团购设置是按货源来划分的,因此,货源的选择是决定创业项目成功与失败的主要步骤。根据调查分析,我们学校学生在1号店和天猫超市等网站购物比较活跃,因此选择1号店、天猫超市、联华易购等七家货源点,分别称为一楼到七楼,代表七个团购。 公司组建2014年4月至8月,组建公司,目前可能有两种方式,一种是挂靠已有公司,一种是独立注册。准备相关文档与资
20、料。详见5.2。公司图标如下图3-1,由三人组成,形如大众的众,表示一种群体社区和大众构成的团购,让人有众人拾柴火焰高一般的感觉。图3-1公司图标公司名称:免邮社区购有限公司 与货源经营商(货源网站)的合作业务洽谈2014年8月至12月的主要任务是业务洽谈。由于我们项目主要经营1号店、天猫超市、联华易购等主要网站的在线商品,商品图片和信息来源是这些供货商,因此我们经营之前需要与供货商进行业务洽谈,签订图片和资料的使用、价格协商协议。当然,这一业务完全是互惠互利的,我们卖出商品也就是为供货商卖出商品,并且我们不损害供货商的利益,如果进货量不大,依照供货商卖出价进货也压力不大,当然,如果量大,我们
21、希望争取比供货商卖出价格要低的协议价,这样的合作应该是双方都乐意的事情。 与快递公司的合作业务洽谈2015年1月至3月的主要任务是与各家快递公司的业务洽谈。设置快递网点作为免邮社区购的拓展业务,既能解决快递公司最后100米的烦恼,又能维护社区、高校公共环境、防止影响上课、上班次序。 稳步发展业务,扩展社区试点范围,确定第一批高校社区网点到2016年,用一年时间,扩展平台的加盟功能,扩展五所高校作为第一批社区网点,允许以加盟的形式加入免邮购创业项目。 扩展业务,确定第二批大型居民社区网点3.2 公司组建首期创建公司为整个项目的总部公司。社区购总部公司分为:社区购策划部、财务部、网站建设部、商品来
22、源与素材采集部、销售部、快递收发部、售后服务部(具体的公司机构布局见图3-2)。各部门功能如下。一、社区购策划部:1. 根据公司的战略规划,制定各岗位的任务和工作目标2. 负责控制公司的预算,降低成本 3. 网站规划:网站栏目、功能应用、内容结构的整体规划 总经理财务部网站建设部销售部快递收发部商品来源与素材采集 部售后服务部社区购策划部图3-2 公司布局图4. 需求分析整理:提出网站具体的修善建议和方案。据公司整体发展需要、相关业务部门提出的需求、会员提出的相关议见,调研收集各方用户体验,对需求进行深入可行性分析,提出对网站产品的需求规划和用户体验的相应调整 5.吸取、回馈用户对网站的意见和
23、建议 6.用户体验:改善门户界面及交易环境,增强用户体验二、财务部负责公司的帐务往来为主,还有各方面财政状况的控制和审核,包括网站的初步建设费用,运营费用,收支费用,广告费用,团队人员工资制定、年度计划、公司企业月销售的盘点,以及公司未来的动向、准确及时的财务报表、市场分析等。三、网站建设部包括网站建设和网站维护。网站建设工作是根据公司的需求建设符合要求的网站。网站维护工作主要是负责公司数据库的管理和日常维护,配合业务需求开发新的功能,负责同其他各部门的联系与合作工作;维护公司站点安全运行。四、商品来源与素材采集部1.根据公司以及顾客的需求制定、修改采购战略2.负责供应商的开发:寻求新供应商,
24、取得报价,组织相关部门进行新供应商的质量体系的评价,建立潜在供应商和供应商数据库。五、销售部主要负责回答客户各种关于本公司及网站的所有咨询,负责接收客户的投诉;负责联系广告投播商。为客户提供良好的售前服务以及维护公司的形象以及公司的利益。六、快递收发部主要负责订单确认,商品的配送等问题七、售后服务部1. 代为消费者安装、调试产品; 2. 根据消费者要求,进行有关使用等方面的技术指导;3. 保证维修零配件的供应;4. 负责维修服务;5. 对产品实行“三包”,即包修、包换、包退(现在许多人认为产品售后服务就是为“三包”,这是一种狭义的理解);6. 处理消费者来信来访以及电话投诉意见,解答消费者的咨
25、询。同时用各种方式征集消费者对产品质量的意见,并根据情况及时改进。3.3 社区选择原则团购网站因为它拥有非常强烈的“区域特性”。“O2O社区购”团购首期主要针对在校大学生。大学生有许多共同的兴趣爱好以及消费倾向,消费商品较单一,而且大学校园里的消费群体素质较高,容易接受新生事物,对网络消费等新兴模式接受较快,从而为开展网络团购奠定了良好的基础。因为对于参加团购的消费者来说首先要满足在地理位置上的方便;其次要有所需求的商品并且在价格上明显比其它商家便宜。对于学生来说这两个特点更是一大吸引点。当前,我国许多城市都建立了各具特色的大学城。在大学城内,大学生的生活起居相对集中。正是这种区域化优势,使物
26、流配送程序得到大量简化,从而较好地解决了困扰网络团购的物流配送问题。但同样存在一些问题:很多时候学生买的是小物件为主,价格中邮费成本比例高,性价比不够高;快递收发扰乱上课次序等问题。对快递员和居民自身都造成不便等一些问题。O2O免邮“社区购”设想O2O:Online to offline.线上组团、购物与结算,线下按社区(学校、小区等)离线收货与确认。创业初步选择高校作为社区网点,第一批小和山三所高校工大、浙外、科技做示范网点,后期扩展到主城区包括浙大、还有下沙高教园区多所院校。后期服务于周边社区居民,扩大服务群体(具体的社区分布初步设想图见图3-3)。社区网点功能设置:商品查询、短信收发、售
27、后服务、货物分发。浙大以及下沙高教园区多所学校周边社区居民、扩大服务群体小和山高教园区(如工大、浙外、科技)图3-3 社区分布初步设想图3.4 商品分类原则对不同性质的社区,其商品分类有差别,比如大学生校园社区,分类设为:学习类、生活类、娱乐类、零食类、服装类、洗漱用品。对居民社区,设置分类为:干果类、水果类、饮料、牛奶、厨房用品、家居用品、纸巾等。因此平台提供社区自行设置商品分类的功能。3.5 运营特点第一,主动出击,网站本身先找一些有着潜在消费商品的商家,将此类潜在消费商品信息放到网站上。直接与商家联系可以为学生获取更大的优惠,打造低价团购。第二,定期更新团购网里团购内容,以二次加工的商品
28、为价格主打(在与商家协调下取得的最低价的基础上加一点价),以最贴近学生学习生活类用品为主,如四六级英语试卷、考研书、笔、洗发水、鼠标等。第三,学生在有自身需求的情况下,可以通过网站发起团购。管理员根据所掌握的商家资源对其所需商品最优惠的价格发起团购,一旦到了成团数就向商家订货。若未到所预定的成团数,在与已下单的学生讨论之下,每位同学加一些钱使得网站不亏损的情况下,根据情况同意者则下单成团。第四,限时限最低成团楼层订单总金额,Groupon对于团购的参与人数也卡得非常严格,毕竟价格低的话当然就需要足够的人数。它规定只有达到预定人数,每个人都能享受到折扣价;如果缺少人哪怕只有一个,每个人也就享受不
29、到折扣价了。这样才使得用户们有较大的热情去动员各自的人际关系网络。网站本身充当了中介的作用,并且将最大的利益带给高校学生。把有意购买低价打折物品的人们召集到一起组成一个团购队伍,当这个队伍的人数达到最低限度时,则可成功进行团购,享受最低价格购买商品。如果人数没有达到最低限度,则此次团购失败,用户也无须承担任何风险。第五,邮件订阅和邀请,分享返奖金,通过这些方式可以说是实惠的方式来带动网站实实在在的流量和关注。网站每天团购的服务类商品你愿意买最好,如果确实不需要,看也很有趣,就像看新闻一样。很多人每天看八卦,本身有阅读快感。或者能普及一些知识。另外即使你不敢兴趣因为邀请好友购买有奖金,你也会通过
30、你在网上的社会关系比如人人网(原校内网),开心网,新浪微博,MNS/QQ等邀请好友来浏览和形成购买。3.6 盈利模式我们先看看传统的团购网站吧,现在传统的成功团购网站大多都采取的线上的商品直销与线下的商品展会等盈利方式。我们O2O免邮社区购可以采取哪些盈利的模式呢? 在线销售利润这是我们最基本的一项服务,但与传统的团购网站又有不同之处,传统的团购网站一般是自己向商家进货,然后负责把商品卖出去,赚取其中的差价,也就是直销。而我们O2O免邮社区购项目不同,商品销售利润来源主要是商品免邮赚取的差价,比如在1号店某支牙膏的销售价为5元,邮费为5元,用户只买一支牙膏,我们的可能为5.1元,因此我们的利润
31、是0.1元。当然如果同一用户购买的价值数量达到一号店免邮的金额,我们与进货商的协议价肯定低于5元,那么我们的利润是5元减去协议价。 分站加盟授权,利润分成平台上线运营第一阶段试点一所最熟悉的高校项目之后,整个项目的第二阶段主要任务是扩展业务,发展高校加盟。此时可以提供授权给加盟者成立分站,为加盟者提供网络平台、运作经验、共享网站品牌等。由于项目平台本身建设初期架构已经考虑加盟模块,加盟无需加盟费。因为财务都是通过公司总部结算的,因此可以采用加盟店的销售业绩与利润挂钩,加盟社区的利润需要到总部结算才能拿到,因此总部可以与各加盟社区分别协定分成比例。第四章 新型O2O免邮社区购平台总体架构与设计与
32、整个项目配套建设中最重要的任务就是搭建新型O2O免邮社区购平台。由于我们的商务模式有别于目前任何一家团购网站和任何一家传统O2O网站,因此我们的平台运作模式、关键部分的实现算法等无法用目前已有平台移植过来。下面对新型O2O免邮社区购平台的总体架构和功能模块进行阐述。4.1 平台总体架构免邮购电子商务平台大体上分为前台和后台两部分(如图4-1)。前台功能包括用户注册、登录、社区选择、商品查询、商品浏览、商品购买、加入购物车、订单查询、短信接收与查询;后台功能根据权限分为多种情况。权限有采购员、发货员、财务管理员、社区管理员、超级管理员。采购员每个社区设若干位,其权限有商品查询、订单查询、购物车查
33、询、商品添加、商品URL抓取、库存量查询等功能;发货员每个社区配备若干位,具有商品查询、订单查询、短信管理、订单发货状态修改等功能;财务管理员分总部财务管理和社区财务管理,社区财务管理员有商品查询、订单查询、社区财务统计、结算、报表打印等功能;总部财务除具备社区财务管理所有权限外,还具有总部财务管理、社区财务结算、对外财务(与进货商之间的)结算等功能;社区管理员拥有社区成员管理、社区财务管理、社区商品查询、订单查询等功能;超级管理员权限最大,拥有以上所有权限以外,还具备成员总部成员管理、社区成员管理功能、定价审核、进货审核等功能。其中主要功能含义概述如下: 前台商品浏览按我们特意设计的楼层进行
34、分类,一个楼层代表一个团购,分类的列表页面以及商品详细信息的页面。这些商品信息是用后台的爬虫模块从其他合作商的购物网站的网页上抓取获得的。 用户功能,用户通过邮件激活方式注册账号。登录后可以将想团的商品放入购物车。 商品团形成功能,当不同用户在同一楼层即同一合作商买的商品到达协商的总数量或者总金额时,该楼层的商品即成为一个团。发货员发送短信及邮件提示用户团购形成,用户在线付款。 后台商品管理:可以操作商品上架下架;对商品分类在前台显示,通过商品的销售量来了解商品受欢迎的程度,以便协调商品在前台的显示顺序。 后台用户管理:不同级别管理员可以看到相关用户的基本信息,如用户名,手机号,大学生社区成员
35、学号、联系方式、对所有权限管理的用户授权。 财务管理:可以对各社区的收益进行直观的呈现,管理员可以根据这个了解当天,当周,当月当季等时间段各社区的收益情况。主功能模块图图4-1免邮购电子商务平台4.2 数据库建设整个数据库设计了楼层表LouCeng、用户表User、商品分类表goodsClass、商品表goodsTable、订单表myDingdan。各表详细结构设计和各表主键、外键之间的关系如下图4-1,主要关系表有商品表goodsTable和楼层表LouCeng(楼层号实质是首页上社区购商家顺序号)。商品表goodsTable包含的字段为商品编号gid、来自商品类别表的外键商品分类编号gcl
36、assid、商品图片地址gpicurl、商品描述信息gdescribe、商品所属楼层glouceng、商品所在url地址gaddress、商品进货价gbuyprice、商品销售价格gsellprice等。楼层表LouCeng包含的字段为楼层编号loucengID、楼层名称lcname、楼层对应商家最低免邮金额mianYouJinE、来自供应商trader表的name为外键的商家名称shangJia、楼层描述miaoShu等字段。UseruidusernameupasswordComIDemailmobilezhucetimeadminTableaidadminnameapasswordxiao
37、quIDemailmobilezhucetimelevelCommunityComIDchinesscityeginashcity外键外键外键mydingdanmidmgidmusermnumbertmoneyStatusxddtimesureTimeLouCengloucengIDlcnamemianYouJinEshangJiamiaoShupic_LuJingimgUrl_REGgbuypriceLabel_REGgnameLabel_REGgaddressUrlLabel_REG外键外键goodsTablegidgclassidgpicurlgnamegdescribeglouceng
38、gaddressgbuypricegsellpricebegtimeendtimegformulaisCrawtraderidnamepasswordcustomerNameinterAdressphonekhBankkhNamebankzfweizhiinfotime外键外键goodsClassclassIDchineseClassenglishClass 图4-2 平台数据库与表之间的关系图 4.3 平台开发工程源码目录结构为了体现平台良好的扩充性、可维护性以便于项目加盟发展需要,平台架构体系选择MVC分层模式。数据库表对应的bean类管理功能bean业务层短信收发数据收集Form层数据处
39、理Dao层前台页面文件夹后台页面文件夹图4-3 源码目录结构图4-2为工程源码目录结构,业务层、短信收发、数据处理与收集为C(Control控制层)、管理功能、数据库表对应Bean为模型层(Model)、前台页面和后台页面为V(View)视图层。4.4 平台界面设计首页顶端是用户登录以及注册入口,接下来是商品的搜索栏,首页左侧是当前的热门搜索,右侧栏是我们的活动展区,以及最近活动信息,中间是楼层选择区,底部是我们的品牌活动。首页界面如图4-4,图中红色方框和箭头标注了相应功能位置。图4-4 首页页面截图及说明商品清单页面截图如图4-3,图中商品清单是从下面这个天猫地址页面所抓取来的商品http
40、:/ 1.1. 1996500281.9. tfTAd7&cat=51278010&style=g&search_condition=1&user_id=725677994&active=1。这些商品属于零食类商品,采购员在进货的时候需要填写抓取网页URL地址、楼层和类别信息。 图4-5 商品清单页面截图后台主页界面截图如图4-6。功能模块包括商品管理、楼层官管理、订单管理、用户管理、商户管理和商品类别管理、财务管理等模块,实际界面会根据管理员权限有所不同。图4-6 后台主界面截图商品查询界面截图如图4-7。 图4-7 后台商品查询界面截图第五章 新型O2O免邮社区购平台商品采购算法本项目开发
41、的具有网购和管理功能平台在多个环节上具有特有的配套算法设计,如浏览网页自动检测所属社区;注册会员进行手机验证和邮箱验证;团购不是按单种商品成团而是按楼层即商家所有商品免邮金额成团;首页楼层排序按照各商家的所有商品的综合因素排序,每天自动刷新;特别是进货方式不同于一般电商网站,本项目经营的大部分商品从合作供货方的电商网站选择和抓取,因此设计了基于正则表达式的抓取算法和配套界面;取货验证码短信发送和取货验证算法等。下面对主要的成团算法和页面抓取算法进行阐述。5.1 爬虫算法概述平台建设中很重要的的一项功能就是实现给定URL,能够实时采集供货商的协议商品信息(包括商品名称,原价格、商品图片、商品详情
42、等)。采用基于正则表达式的通用爬虫算法采集得到的数据保证实时性、时效性和针对性。社区购平台从商品信息抽取算法出发,设计了基于正则表达式的通用爬虫原理的商品信息聚焦爬虫算法,为平台实现了商品采购重要环节。 网络爬虫算法的研究已经非常深入并分为几个分支。一是通用网络爬虫,它在爬取网页过程中没有对页面和链接进行相关性判断和语义分析,属于广泛主题的采集,因此只适合于广泛主题的搜索引擎,如当前流行的百度,Google等。二是增量式网络爬虫,它极大减小了周期内采集页面的数量,进而节约了时空开销,目前流行的搜索引擎大都采用增量式网络爬虫。三是基于Agent的网络爬虫,Agent是一个能在特定环境中连续和自主
43、地运行的软件实体,具有自主性、反应性、合作性、学习性,能够自我学习、自行推理,对外界环境做出反应,并自我调整以适应环境;四是迁移的网络爬虫将自己上传到它所要采集的页面所在服务器中,在该服务器中进行采集,并将采集结果压缩回传到本地。五是主题网络爬虫,主题爬虫又称聚焦爬虫,这种爬虫算法的基础是通用网络爬虫,它只选择那些与特定主题相关的页面,而舍弃大量与主题无关的页面,采集的页面数大大减少,所以极大地节省了硬件和网络资源,己采集页面也由于数量少而刷新快,与特定主题相关使它的页面利用率极大提高,很好地满足特定人群对特定领域信息的需求,即聚焦爬虫能够很好的满足个性化需求,成为近年来研究的热点。5.2 相
44、关概念聚焦爬虫:聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关的链接获取所需要的信息。基于通用爬虫算法的聚焦爬虫:聚焦爬虫需要解决的三个问题(1)对抓取目标的描述或定义;(2)对网页或数据的分析与过滤;(3)对URL的搜索策略。本文给出商品信息聚焦爬虫的定义是以抓取网络商品关键信息为目的,在一定范围内对网页与商品相关的链接模式作分析,根据正则规则进行匹配并下载匹配段网页片段,对其它无关链接和页面内容进行过滤的URL搜索和商品信息(包括图片)的收集策略。5.3 基于通用爬虫算法的商品信息聚焦爬虫算法设计算法由于针对性和时效性相当强,因此,算法对不同的电子
45、商务平台的有一定的适应性要求,基于通用爬虫算法的商品信息聚焦爬虫算法是基于网页内容分析、规则和模式匹配原理而设计的,不同电子商务平台有不同的网页设计模式,此算法需要相应改动才能移植,这里以天猫超市为例,设计基于通用爬虫算法的商品信息聚焦爬虫算法。5.3.1 通用爬虫算法与聚焦爬虫概念网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放人队列,直到满足系统的一定停止条件,如图5-1 (a)流程图所示。图5-1 通用爬虫与聚焦爬虫算法流程本项目算法在通用
46、爬虫基础上设计的聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放人等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止,如图5-1(b)所示。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。5.3.2 聚焦爬虫算法实现原理 图5-2 天猫进口商品:进口饼干糕点页面基于商品评论的聚焦爬虫算法流程类似于图5-1(b),其中的获取URL对应的整个网页模块、根据分析算法分析评价网页及URL模块和根据搜索策略选择URL模块具体化,其算法针对目标是评价网页的评价者、评价时间、评价优点、评价缺点等信息。首先给定一产品首页URL,例如天猫进口商品:进口饼干糕点页面http:/