笔直搜索引擎完整兑现

本篇博客是在直达同样篇《Lucene搜索引擎+HDFS+MR完成垂直搜索》的底蕴及,在多少收集后的JSP/Servlet方面,换呢SpringMVC框架来促成。

倚SpringMVC技术形成数据库、HDFS、页面的互动,以达到实现垂直搜索引擎。

本篇博客的思辨:一凡是尖锐数据搜集、分析、关键词搜索展现的流水线实现;

        一凡是借这施行上SpringMVC框架的技艺。

第一简单讲演实现垂直搜索引擎的流水线:1‘网络爬虫的多少存取到HDFS和数据库被;

                 
 2’MR对数码开展解析规约;

                  3‘SpringMVC实现重要词搜索并显现到网页(此处为本篇重点阐释)

—–>

目录:

1、SpringMVC阐述

2、创立web项目(添加Spring框架帮忙)

3、配置applicationContext.xml★★

4、配置web.xml文件★★

5、添加log4j.properties文件至src根目录

6、实现DAO操作类 

7、修改页面源码

8、编写控制器来机关接收参数,以及开展多少操作★★**

9、过滤器解决乱码问题

10、结果展现

11、总结

——>

 

1、  SpringMVC阐述

SpringMVC是Spring的一个子框架,重即使用来拍卖MVC设计格局中之View和Control。

MVC:

Model:模型层,也即是数据库操作层。DAO部分代码

View:体现层,也便是页面展现有。Servlet部分

Controller:控制层,也就是是事情逻辑层。JSP部分

 

采纳SpringMVC未来,这三局部代码都汇合出反,由Spring来开展调整。

号为此之极端多之凡SpringMVC +
MyBatis。

此间我们虽然只有使SpringMVC +
JDBC来就

 

Spring
在当时三交汇可以有例外的意向:

Model层中Spring能够拉拓展数量源连接池的布置,还好简化JDBC的操作代码,同时还会援助成功机关的开辟和倒闭数据库连接。

View层中,Spring可以帮我们简化表单提交的参数代码,也可自行接到Control中回到的数量音信。

Control层中,Spring可以帮忙大家机关接收页面提交的参数。

 

Spring的主导在于配备文件,所有的近乎的信息为主都使入到布置文件被要利用Annotation来举行标注。

 

2、制造web项目(添加Spring框架补助)

图片 1【项目完全表现】

 

创一个新的web项目,导入上亦然首项目所待的jar包,以及拷贝vo类(DAO接口类)和utils类(关键词查询类)所于的管

先为类进入Spring的框架扶助

以路及点右键,采用MyEclipse,然后找到install Spring … 的挑项。

以一定的步子参预援助,最后一步时,一定要留心采纳好内需的补助库,那里要用的是Persistence和Web

 图片 2

 

3、配置applicationContext.xml

斯文件Spring的布局文件,重假设拿各类POJO,JAVA,action配置到XML转交给beanfactory管理,降低耦合度。

着重的安排组件:
<bean id=”射影class的名字”
class=”写的JAVA类”/>

下一场就是是这一个<bean>之间的凭关系,比如:
<bean id=”mySerive”
class=”org.haha.MyServiceImpl”/>

<bean id=”loginAction”
class=”org.haha.LoginAction” scope=”prototype”>

<!–依赖注入业务逻辑组件–>

<property name=”ms” ref=”myService”
/>

</bean>

上述代码的意会于loginAction的代码里引用My瑟维斯(Service)(Service)Impl类,然而就需要用ms代替就得
例如:
 public String execute() throws
Exception{

    ms.sayhello();
}
正常情状应该 new
My瑟维斯(Service)(Service)Impl,但是经过XML配置之后就径直用以上代码就足以实现
new 的效果。

 

以下是该档的安排文件突显:

 1 <?xml version="1.0" encoding="UTF-8"?>
 2 <beans
 3     xmlns="http://www.springframework.org/schema/beans"
 4     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 5     xmlns:p="http://www.springframework.org/schema/p"
 6     
 7     xmlns:context="http://www.springframework.org/schema/context"
 8     xmlns:mvc="http://www.springframework.org/schema/mvc"
 9     
10     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
11             http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd
12             http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-3.1.xsd">
13 
14     <!-- 加入SpringMVC的库支持 -->
15     <mvc:annotation-driven></mvc:annotation-driven>
16     <!-- 加入Context支持 -->
17     <context:annotation-config></context:annotation-config>
18     <!-- 配置使用Annotation的包范围 -->
19     <context:component-scan base-package="org.liky.sina.dao.impl,org.liky.sina.action"></context:component-scan>
20     
21     <!-- 配置数据库连接池 -->
22     <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
23         <property name="driverClassName" value="org.gjt.mm.mysql.Driver"></property>
24         <property name="url" value="jdbc:mysql://localhost:3306/sina_news"></property>
25         <property name="username" value="root"></property>
26         <property name="password" value="admin"></property>
27     </bean>
28     
29     <!-- 配置一个模板类 -->
30     <bean id="jdbcTemplate" class="org.springframework.jdbc.core.JdbcTemplate">
31         <property name="dataSource">
32             <ref bean="dataSource"/>
33         </property>
34     </bean>
35     
36     <!-- 配置自动管理连接的一个事务操作支持 -->
37     <bean id="transactionManager"    class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
38         <property name="dataSource">
39             <ref bean="dataSource"/>
40         </property>
41     </bean>
42     
43     
44     <bean    id="transactionInterceptor" class="org.springframework.transaction.interceptor.TransactionInterceptor">
45         <property name="transactionManager">
46             <ref bean="transactionManager"/>
47         </property>    
48     
49     <!-- 配置事务处理方式      *表示service中的所有方法都要进行事务处理。PROPAGATION_REQUIRED表示事务处理方式,有以下三种选择:
50         PROPAGATION_REQUIRED:正常事务处理
51         PROPAGATION_REQUIRED_NEWS:每个操作单独进行一个事务处理
52         PROPAGATION_REQUIRED_NEVER:不使用事务,出错后后面的不进行添加
53      -->
54      
55      <property name="transactionAttributes">
56          <props>
57              <prop key="*">PROPAGATION_REQUIRED</prop>
58          </props>
59      </property>
60     
61     </bean>
62     
63     <!-- 配置事务管理器的作用范围 -->
64     <bean class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator">
65         <property name="interceptorNames">
66             <list>
67                 <value>transactionInterceptor</value>
68             </list>
69         </property>
70         <property name="beanNames">
71             <list>
72               <value>*DAOImpl</value>
73             </list>
74         </property>
75     </bean>
76     
77     
78         
79 </beans>

 

4、配置web.xml文件

  其一文件是急需以里给服务器启动时,可以自行加载spring的配置文件。

  代码展现:

 1 <?xml version="1.0" encoding="UTF-8"?>
 2 <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 3     xmlns="http://java.sun.com/xml/ns/javaee" xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
 4     xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"
 5     id="WebApp_ID" version="3.0">
 6     <display-name>SinaNewsSpringMVC</display-name>
 7     <welcome-file-list>
 8         <welcome-file>index.html</welcome-file>
 9     </welcome-file-list>
10     <listener>
11         <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
12     </listener>
13     <context-param>
14         <param-name>contextConfigLocation</param-name>
15         <param-value>classpath:applicationContext.xml</param-value>
16     </context-param>
17 
18     <!-- 手工配置加载SpringMVC的支持库和跳转路径 -->
19     <servlet>
20         <servlet-name>springmvc</servlet-name>
21         <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
22 
23         <init-param>
24             <param-name>contextConfigLocation</param-name>
25             <param-value>/WEB-INF/classes/applicationContext.xml</param-value>
26         </init-param>
27         <load-on-startup>1</load-on-startup>
28     </servlet>
29     <servlet-mapping>
30         <servlet-name>springmvc</servlet-name>
31         <url-pattern>*.do</url-pattern>
32     </servlet-mapping>
33 
34     <!-- 添加过滤器 -->
35     <filter>
36         <filter-name>encoding</filter-name>
37         <filter-class>org.liky.sina.filter.EncodingFilter</filter-class>        
38     </filter>
39     <filter-mapping>
40         <filter-name>encoding</filter-name>
41         <url-pattern>/*</url-pattern>
42     </filter-mapping>
43 </web-app>

 

 5、添加log4j.properties文件至src根目录

Log4j,Apache的一个开源项目,功用:

     可以操纵日志信息输送的目标地是控制台、文件、GUI组件、甚至是拟接口服务器、NT的事件记录器、UNIXSyslog守护进程等;

    
  可以控制每一样漫长日志的输出格式;

      
 通过定义每一样条日志音讯之级别,大家会更为密切地决定日志的变化过程。

   
 其它,这一个可经过一个配备文件来灵活地进行安排,而未需改以的代码。

 1 ### direct log messages to stdout ###
 2 log4j.appender.stdout=org.apache.log4j.ConsoleAppender
 3 log4j.appender.stdout.Target=System.out
 4 log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
 5 log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
 6 
 7 ### direct messages to file hibernate.log ###
 8 #log4j.appender.file=org.apache.log4j.FileAppender
 9 #log4j.appender.file.File=hibernate.log
10 #log4j.appender.file.layout=org.apache.log4j.PatternLayout
11 #log4j.appender.file.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
12 
13 ### set log levels - for more verbose logging change 'info' to 'debug' ###
14 
15 log4j.rootLogger=warn, stdout
16 
17 log4j.logger.org.hibernate=info
18 #log4j.logger.org.hibernate=debug
19 
20 ### log HQL query parser activity
21 #log4j.logger.org.hibernate.hql.ast.AST=debug
22 
23 ### log just the SQL
24 #log4j.logger.org.hibernate.SQL=debug
25 
26 ### log JDBC bind parameters ###
27 log4j.logger.org.hibernate.type=info
28 #log4j.logger.org.hibernate.type=debug
29 
30 ### log schema export/update ###
31 log4j.logger.org.hibernate.tool.hbm2ddl=debug
32 
33 ### log HQL parse trees
34 #log4j.logger.org.hibernate.hql=debug
35 
36 ### log cache activity ###
37 #log4j.logger.org.hibernate.cache=debug
38 
39 ### log transaction activity
40 #log4j.logger.org.hibernate.transaction=debug
41 
42 ### log JDBC resource acquisition
43 #log4j.logger.org.hibernate.jdbc=debug
44 
45 ### enable the following line if you want to track down connection ###
46 ### leakages when using DriverManagerConnectionProvider ###
47 #log4j.logger.org.hibernate.connection.DriverManagerConnectionProvider=trace

 

 

6、实现DAO操作类 

之后开行服务器举办测试,要是开行后不曾报错,这就代表环境布置成功,可以健康下。

下就是起来修DAO操作。

对于DAO接口是未曾成形之,所以可以一直拷贝过来

这里勿需重修工厂类,因为Spring可以活动帮成立对象。

心想事成类似需要付Spring来拓展管理和控制,并且简化jdbc代码操作

代码如下:

 1 package org.liky.sina.dao.impl;
 2 
 3 import java.sql.ResultSet;
 4 import java.sql.SQLException;
 5 import java.util.List;
 6 
 7 import org.liky.sina.dao.INewsDAO;
 8 import org.liky.sina.vo.News;
 9 import org.springframework.beans.factory.annotation.Autowired;
10 import org.springframework.jdbc.core.JdbcTemplate;
11 import org.springframework.jdbc.core.RowMapper;
12 import org.springframework.jdbc.core.support.JdbcDaoSupport;
13 import org.springframework.stereotype.Component;
14 
15 @Component
16 public class NewsDAOImpl extends JdbcDaoSupport implements INewsDAO,RowMapper<News> {
17 
18     @Autowired
19     public NewsDAOImpl(JdbcTemplate jdbcTemplate) {
20         super.setJdbcTemplate(jdbcTemplate);
21     }
22 
23 
24     public void doCreate(News news) throws Exception {
25         String sql="insert into news (id,title,description,url) values (?,?,?,?)";
26         
27         super.getJdbcTemplate().update(sql, news.getId(),news.getTitle(),news.getDescription(),news.getUrl());
28     }
29 
30     public News findById(int id) throws Exception {
31         String sql="select id,title,description,url from news where id=?";
32         News news=super.getJdbcTemplate().queryForObject(sql,new Object[]{id},this);    
33         
34         return news;
35     }
36 
37     public List<News> findByIds(Integer[] ids, int start, int pageSize)
38             throws Exception {
39         StringBuilder sql = new StringBuilder(
40                 "SELECT id,title,description,url FROM new_news WHERE id IN (");
41         if (ids != null && ids.length > 0) {
42             for (int id : ids) {
43                 sql.append(id);
44                 sql.append(",");
45             }
46             // 第一个 ? 表示开始的记录数,第二个 ? 表示每页显示的记录数。
47             String resultSQL = sql.substring(0, sql.length() - 1)
48                     + ") LIMIT ?,?";
49             List<News> allNews = super.getJdbcTemplate().query(resultSQL,
50                     new Object[] { start, pageSize }, this);
51             return allNews;
52         }
53         return null;
54     }
55     
56     
57     public int getAllCount(Integer[] ids)throws Exception{
58         StringBuilder sql=new StringBuilder("select count(id) from new_news where id in (");
59         
60         if(ids!=null&&ids.length>0){
61             for(int id:ids){
62                 sql.append(id);
63                 sql.append(",");
64             }
65             // 第一个 ? 表示开始的记录数,第二个 ? 表示每页显示的记录数。
66                 String resultSQL = sql.substring(0, sql.length() - 1) + ")";
67                 int count = super.getJdbcTemplate().queryForInt(resultSQL);                            
68                 return count;            
69         }        
70         return 0;
71     }
72     
73     public News mapRow(ResultSet rs, int arg1) throws SQLException {
74         News news=new News();
75         news.setId(rs.getInt(1));
76         news.setTitle(rs.getString(2));
77         news.setDescription(rs.getString(3));
78         news.setUrl(rs.getString(4));
79         return news;
80 
81     }
82 
83 }

 

7、修改页面源码

表单部分开展一些简易的调动,参预了form标签相关的布。重要以action的值改为了search.do

【1】index.jsp修改

 1 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
 2 <%
 3 String path = request.getContextPath();
 4 String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";
 5 %>
 6 
 7 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
 8 <html>
 9   <head>
10     <base href="<%=basePath%>">
11     <title>新浪新闻热词搜索</title>
12   </head>
13   
14   <body>
15     <center>
16         <form action="search.do" method="post">
17         请输入查询关键字:
18         <input type="text" name="keyword">
19         <input type="submit" value="查询">       
20         </form>
21     </center> 
22   </body>
23 </html>

【2】result.jsp修改

 1 <%@page import="org.liky.sina.vo.News"%>
 2 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
 3 <%
 4     String path = request.getContextPath();
 5     String basePath = request.getScheme() + "://"
 6             + request.getServerName() + ":" + request.getServerPort()
 7             + path + "/";
 8 %>
 9 
10 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
11 <html>
12 <head>
13 <base href="<%=basePath%>">
14 
15 <title>新浪新闻搜索</title>
16 </head>
17 
18 <body>
19     <center>
20         <%
21             List<News> allNews = (List<News>)request.getAttribute("allNews");
22         %>
23         <table width="80%">
24             <%
25                 for (News n : allNews) {
26             
27             %>
28                 <tr>
29                     <td>
30                         <a href="<%=n.getUrl() %>" target="_blank"><%=n.getTitle() %></a> <br>
31                         <%=n.getDescription() %>
32                         <hr/>
33                     </td>
34                 </tr>
35             <%
36                 }
37                 
38             %>
39         </table>
40         
41         <%
42             int cp = (Integer)request.getAttribute("currentPage");
43             int allPages = (Integer)request.getAttribute("allPages");
44         %>
45         <form id="split_page_form" action="search.do" method="post">
46             <input type="hidden"  name="currentPage" id="cp" value="<%=cp %>" />
47             <input type="button" <%=cp == 1?"disabled":"" %> value="首页" onclick="changeCp(1);">
48             <input type="button" <%=cp == 1?"disabled":"" %> value="上一页" onclick="changeCp(<%=cp - 1 %>);">
49             <input type="button" <%=cp == allPages?"disabled":"" %> value="下一页" onclick="changeCp(<%=cp + 1 %>);">
50             <input type="button" <%=cp == allPages?"disabled":"" %> value="尾页" onclick="changeCp(<%=allPages %>);">
51             第 <%=cp %>  页 / 共 <%=allPages %> 页
52             <br>
53             请输入查询关键字:<input type="text" name="keyword" value="<%=request.getParameter("keyword")%>">
54             <input type="submit" value="查询">
55         </form>
56         <script type="text/javascript">
57             function changeCp(newcp) {
58                 // 改变当前页数
59                 document.getElementById("cp").value = newcp;
60                 // 提交表单
61                 document.getElementById("split_page_form").submit();
62             }
63         </script>
64         
65     </center>
66 </body>
67 </html>

 

8、编写控制器来机关接收参数,以及举办数据操作

尔后要编制SpringMVC的控制器来机关接到参数,并拓展数量操作。

代码突显:

 1 package org.liky.sina.action;
 2 
 3 import java.util.List;
 4 
 5 import javax.annotation.Resource;
 6 
 7 import org.liky.sina.dao.INewsDAO;
 8 import org.liky.sina.utils.HDFSUtils;
 9 import org.liky.sina.vo.News;
10 import org.springframework.stereotype.Controller;
11 import org.springframework.web.bind.annotation.RequestMapping;
12 import org.springframework.web.bind.annotation.RequestParam;
13 import org.springframework.web.servlet.ModelAndView;
14 
15 
16 @Controller
17 public class NewsAction {
18     private INewsDAO newsdao;
19     
20     @RequestMapping(value="/search.do")
21     public ModelAndView search(@RequestParam String keyword,@RequestParam(defaultValue="1") int currentPage){
22         ModelAndView mv= new ModelAndView();
23         //一页显示10条数据
24         int pageSize=10;
25         
26         try{
27             Integer[] ids=HDFSUtils.getIdsByKeyword(keyword);
28             //根据这些id查询相应的结果
29             List<News> allNews=newsdao.findByIds(ids, (currentPage-1), pageSize);
30             
31             int count=newsdao.getAllCount(ids);
32             //计算一个关键词读取的数据显示总页数
33             int allPages=count/pageSize;
34             if(count%pageSize!=0){
35                 allPages++;
36             }
37             
38             //结果传递回页面显示
39             mv.addObject("allNews",allNews);
40             mv.addObject("allPages", allPages);
41             mv.addObject("currentPage", currentPage);
42             
43             //切换到页面上
44             mv.setViewName("/result.jsp");                                    
45         }catch(Exception e){
46             e.printStackTrace();
47         }
48         
49         return mv;
50     }
51     
52     @Resource(name="newsDAOImpl")
53     public void setNewsdao(INewsDAO newsdao){
54         this.newsdao=newsdao;
55         
56     }
57 }

 

 

9、过滤器解决乱码问题

测试时会合来乱码出现,由此还要编写一个过滤器来处理乱码。

假若是MyEclipse的乱码问题,只待修改:

图片 3

 

 【1】过滤器代码展现:

 1 package org.liky.sina.filter;
 2 /**
 3  * 过滤器,解决网页乱码的问题
 4  */
 5 import java.io.IOException;
 6 
 7 import javax.servlet.Filter;
 8 import javax.servlet.FilterChain;
 9 import javax.servlet.FilterConfig;
10 import javax.servlet.ServletException;
11 import javax.servlet.ServletRequest;
12 import javax.servlet.ServletResponse;
13 
14 public class EncodingFilter implements Filter {
15 
16     @Override
17     public void destroy() {
18     }
19 
20     @Override
21     public void doFilter(ServletRequest arg0, ServletResponse arg1,
22             FilterChain arg2) throws IOException, ServletException {
23         //修改编码格式为UTF-8
24         arg0.setCharacterEncoding("UTF-8");
25         arg2.doFilter(arg0, arg1);
26     }
27 
28     @Override
29     public void init(FilterConfig arg0) throws ServletException {
30         // TODO Auto-generated method stub
31 
32     }
33 
34 }

 

 

【2】在web.xml中布局是过滤器:

1 <filter>
2         <filter-name>encoding</filter-name>
3         <filter-class>org.liky.sina.filter.EncodingFilter</filter-class>
4     </filter>
5     <filter-mapping>
6         <filter-name>encoding</filter-name>
7         <url-pattern>/*</url-pattern>
8     </filter-mapping>

 

 

10、结果呈现

至于其他的代码在参考《Lucene搜索引擎+HDFS+MR完成垂直搜索》。

运作结果如下:

 控制台呈现:

图片 4

 

浏览器index.jsp显示:

 图片 5

寻找结果  
result.jsp
 突显,尾部实现了分页功效,并且还得拓展搜:

图片 6

 

 

11、总结

    率先上等同首最终存在的乱码问题在此间第九组成部分,给闹了过滤器的方,将编码格式改吗UTF-8,已经缓解了。

  关于垂直搜索引擎,是针对性某一个业的标准找引擎(这一次项目是针对乐乎音信的数量收集,爬取深度也5),是寻觅引擎的分割和延长,是对网页库中之某类专门的消息举行相同次于做,定向分许段抽取发生用之多少开展拍卖后还因为某种形式再次来到给用户。

  本篇用SpringMVC框架的技能做到数据的垂直搜索,比较来说,结构更清晰,难点在有限只布局文件之改,以及以代码中运用安排文件。

  思路流程:

    1、  DAO操作类依据首页搜索框关键词之输入,获取HDFS的id,以便从数据库提取一组新闻;

    2、  配置文件贯彻了数据库的总是,并简化了DAO的流水线实现;

    3、  SpringMVC的控制器自动接收参数,并展开数量操作;

    4、  JSP文件吸纳控制器传递的多少,显示于结果页面。

 

  

 

  

 

网站地图xml地图