网站建设要会什么软件,建网站需什么条件,wordpress博客支持js,网络推广公司是干嘛的使用Java访问一般网页#xff0c;进行数据抓取等比较简单#xff0c;直接用URL和URLConnection连接所需要的网站地址即可#xff0c;然后对返回的html源码进行处理分析#xff0c;获取感兴趣的内容。不过如果是需要登录后才能访问的网页就不能直接传入网站url进行连接了进行数据抓取等比较简单直接用URL和URLConnection连接所需要的网站地址即可然后对返回的html源码进行处理分析获取感兴趣的内容。不过如果是需要登录后才能访问的网页就不能直接传入网站url进行连接了一般网页会自动跳转到登录页面要求先登录。另外即使先在登录页面进行了登录然后再转到要登录才能访问的网页时如果没在第二次连接中加入之前登录成功后的session那么访问仍然会失败。URLConnection每次打开一个连接如果不进行设置则默认会以新的session去访问那么相当于又需要重新登录因此需要加入登录成功的session才能访问到需要登录的页面。以下通过一个小例子来说明该如何操作1.首先找到登录界面2.查看表单提交给哪个action3.来到单一的表单提交页面4.修改表单提交方式为get5.随便输入用户名和密码后浏览器的地址栏就有这么一串地址只要把user和password改成正确的那么直接在浏览器输入这串地址就直接登录类似的直接用URLConnetion打开这串数据的连接即实现了登录获取服务器返回过来的session下次再连接该网站的别的需要登录的页面时带上这个session即可成功访问了。代码如下(具体网站地址已隐去)import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.URL;import java.net.URLConnection;public class Test{public static void main(String[] args) throws Exception//以下仅举个小例子不处理异常{String idxxxxx;String passwdxxxxx;String loginUrlhttp://xxxxx/login.aspx?__VIEWSTATEdDw2Nzg5Mjk2NTY7O2w8b2s7Pj5OOk%2B5QUCLHuIzBtlhui5aZbY11Q%3D%3Dtxt_useridtxt_passwordpasswdok.x35ok.y12;URL url new URL(loginUrl);URLConnection conn url.openConnection();String sessionValue conn.getHeaderField(Set-Cookie);//获取session值String[] sessionId sessionValue.split(;);URL newUrl new URL(http://xxxxx/student_info1.aspx);URLConnection newConn newUrl.openConnection();newConn.setRequestProperty(Cookie, sessionId[0]);newConn.connect();BufferedInputStream bis new BufferedInputStream(newConn.getInputStream());InputStreamReader inputStreamReader new InputStreamReader(bis,utf-8);BufferedReader br new BufferedReader(inputStreamReader);String str null;while ((str br.readLine()) ! null){System.out.println(str);//输出登录后才能访问的网页的html源码可以根据需要获取相关信息}}}
