웹 페이지의 콘텐츠를 가져 와서 문자열 변수에 저장하는 방법

웹 페이지의 콘텐츠를 가져 와서 문자열 변수에 저장하는 방법

---

ASP.NET을 사용하여 웹 페이지의 콘텐츠를 얻으려면 어떻게해야합니까? 웹 페이지의 HTML을 가져 와서 문자열 변수에 저장하는 프로그램을 작성해야합니다.

---

WebClient를 사용할 수 있습니다.

WebClient client = new WebClient();
string downloadString = client.DownloadString("http://www.gooogle.com");

---

이전에 Webclient.Downloadstring에 문제가 발생했습니다. 그렇다면 다음을 시도 할 수 있습니다.

WebRequest request = WebRequest.Create("http://www.google.com");
WebResponse response = request.GetResponse();
Stream data = response.GetResponseStream();
string html = String.Empty;
using (StreamReader sr = new StreamReader(data))
{
    html = sr.ReadToEnd();
}

---

사용 하지 않는 것이 좋습니다 WebClient.DownloadString. 이는 (적어도 .NET 3.5에서는) DownloadString이 BOM을 사용 / 제거 할만큼 똑똑하지 않기 때문입니다. 이로 인해 UTF-8 데이터가 반환 될 때 (적어도 문자 집합없이) BOM ( )이 문자열의 일부로 잘못 표시 될 수 있습니다 .

대신이 약간의 변형이 BOM에서 올바르게 작동합니다.

string ReadTextFromUrl(string url) {
    // WebClient is still convenient
    // Assume UTF8, but detect BOM - could also honor response charset I suppose
    using (var client = new WebClient())
    using (var stream = client.OpenRead(url))
    using (var textReader = new StreamReader(stream, Encoding.UTF8, true)) {
        return textReader.ReadToEnd();
    }
}

---

Webclient client = new Webclient();
string content = client.DownloadString(url);

원하는 페이지의 URL을 전달하십시오. htmlagilitypack을 사용하여 결과를 구문 분석 할 수 있습니다.

참고 URL : https://stackoverflow.com/questions/4510212/how-i-can-get-web-pages-content-and-save-it-into-the-string-variable