`, `![]()
`, `` trong mã của mình.
Tuy nhiên, đầu ra của các trường này vẫn có thể phức tạp. Ví dụ, khi nhìn vào **Links**, bạn sẽ thấy một khối lớn mã HTML.
```html
Links: @{innerHTML=Search; innerText=Search; outerHTML=Search; outerText=Search; tagName=A; id=gb_1; class=gbzt gbz0l gbp1; href=https://www.google.com.tr/webhp?tab=ww} @{innerHTML=Images; innerText=Images; outerHTML= Images; outerText=Images; tagName=A; id=gb_2; class=gbzt; href=https://www.google.com/imghp?hl=tr&tab=wi} @{innerHTML=Maps; innerText=Maps; outerHTML=Maps; outerText=Maps; tagName=A; id=gb_8; class=gbzt; href=https://maps.google.com.tr/maps?hl=tr&tab=wl} @{innerHTML=Play; innerText=Play; outerHTML=Play ; outerText=Play; tagName=A; id=gb_78; class=gbzt; href=https://play.google.com/?hl=tr&tab=w8} @{innerHTML=YouTube; innerText=YouTube; outerHTML=YouTube ; outerText=YouTube; tagName=A; id=gb_36; class=gbzt; href=https://www.youtube.com/?tab=w1} @{innerHTML=News; innerText=News; outerHTML=News ; outerText=News; tagName=A; id=gb_426; class=gbzt; href=https://news.google.com/?tab=wn} @{innerHTML=Gmail; innerText=Gmail; outerHTML=Gmail; outerText=Gmail; tagName=A; id=gb_23; class=gbzt; href=https://mail.google.com/mail/?tab=wm} @{innerHTML=Drive; innerText=Drive; outerHTML=Drive ; outerText=Drive; tagName=A; id=gb_49; class=gbzt; href=https://drive.google.com/?tab=wo} @{innerHTML=More more; innerText=More; outerHTML=More ; outerText=More; tagName=A; aria-haspopup=true; id=gbztm; class=gbgt; aria-owns=gbd; href=https://www.google.com.tr/intl/tr/about/products?tab=wh} @{innerHTML=Calendar; innerText=Calendar; outerHTML=Calendar; outerText=Calendar; tagName=A; id=gb_24; class=gbmt; href=https://calendar.google.com/calendar?tab=wc} @{innerHTML=Translation; innerText=Translation; outerHTML=Translation; outerText=Translation; tagName=A; id=gb_51; class=gbmt; href=https://translate.google.com.tr/?hl=tr&tab=wT} @{innerHTML=Books; innerText=Books; outerHTML=Books; outerText=Books; tagName=A; id=gb_10; class=gbmt; href=https://books.google.com.tr/?hl=tr&tab=wp} @{innerHTML=Shopping; innerText=Shopping; outerHTML=Shopping; outerText=Shopping; tagName=A; id=gb_6; class=gbmt; href=https://www.google.com.tr/shopping?hl=tr&source=og&tab=wf} @{innerHTML=Blogger; innerText=Blogger; outerHTML=Blogger; outerText=Blogger; tagName=A; id=gb_30; class=gbmt; href=https://www.blogger.com/?tab=wj} @{innerHTML=Finance; innerText=Finance; outerHTML=Finance; outerText=Finance; tagName=A; id=gb_27; class=gbmt; href=https://www.google.com/finance?tab=we} @{innerHTML=Photos; innerText=Photos; outerHTML=Photos; outerText=Photos; tagName=A; id=gb_31; class=gbmt; href=https://photos.google.com/?tab=wq&pageId=none} @{innerHTML=Documents; innerText=Documents; outerHTML=Documents; outerText=Documents; tagName=A; id=gb_25; class=gbmt; href=https://docs.google.com/document/?usp=docs_alc} @{innerHTML=Even more »; innerText=Even more »; outerHTML=Even more »; outerText=Even more »; tagName=A; class=gbmt; href=https://www.google.com.tr/intl/tr/about/products?tab=wh} @{innerHTML=< SPAN id=gbi4s1>Sign in; innerText=Sign in; outerHTML= Sign in; outerText=Sign in; tagName=A; onclick=gbar.logger.il(9,{l:'i'}); id=gb_70; class=gbgt; href=https://accounts.google.com/ServiceLogin?hl=tr&passive=true&continue=https://www.google.com/&ec=GAZAAQ; target=_top} @{innerHTML=; innerText=; outerHTML=; outerText=; tagName=A; aria-haspopup=true; id=gbg5; title=Options; class=gbgt; aria-owns=gbd5; href=http://www.google.com.tr/preferences?hl=tr} @{innerHTML=Search settings; innerText=Search settings; outerHTML=Search settings; outerText=Search settings; tagName=A; class=gbmt; href=/preferences?hl=tr} @{innerHTML=Web History; innerText=Web History; outerHTML=Web History; outerText=Web History; tagName=A; class=gbmt; href=http://www.google.com.tr/history/optout?hl=tr} @{innerHTML=Advanced search; innerText=Advanced search; outerHTML=Advanced search; outerText=Advanced search; tagName=A; href=/advanced_search?hl=tr&authuser=0} @{innerHTML=Advertisement; innerText=Advertisement; outerHTML=Ad; outerText=Advertisement; tagName=A; href=/intl/tr/ads/} @{innerHTML=Business Solutions; innerText=Business Solutions; outerHTML=Business Solutions; outerText=Business Solutions; tagName=A; href=http://www.google.com.tr/intl/tr/services/} @{innerHTML=About Google; innerText=About Google; outerHTML=About Google; outerText=About Google; tagName=A; href=/intl/tr/about.html} @{innerHTML=Google.com.tr; innerText=Google.com.tr; outerHTML=Google.com. tr; outerText=Google.com.tr; tagName=A; href=https://www.google.com/setprefdomain?prefdom=TR&prev=https://www.google.com.tr/&sig=K_EgsQi_VqHUnTVfTtru1YxCgPIis%3D} @{innerHTML=Privacy; innerText=Privacy; outerHTML=Privacy; outerText=Privacy; tagName=A; href=/intl/tr/policies/privacy/} @{innerHTML=Terms; innerText=Terms; outerHTML=Terms; outerText=Terms; tagName=A; href=/intl/tr/policies/terms/}
```
## Data Extraction
Sau khi phân tích nội dung HTML, chúng ta có thể trích xuất dữ liệu cần thiết. Ví dụ, để lấy phần **href** trong các liên kết (Links) hoặc **src** trong hình ảnh (Images), chúng ta có thể thực hiện như sau:
1. **Yêu cầu trang web và nhận phản hồi**:
$response = Invoke-WebRequest -Uri "https://google.com" -Method 'GET'
2. **Trích xuất chỉ các liên kết (href) và hình ảnh (src)**:
Write-Host "----------------------------------------------"
Write-Host "Links"
Write-Host "----------------------------------------------"
$response.Links.href # Hiển thị chỉ phần href của từng liên kết
Write-Host "----------------------------------------------"
Write-Host "Images"
Write-Host "----------------------------------------------"
$response.Images.src # Hiển thị chỉ phần src của từng ảnh
#### Giải thích
* **Links**: `$response.Links.href` sẽ chỉ xuất ra giá trị của thuộc tính **href** từ mỗi liên kết, thay vì xuất toàn bộ đối tượng chứa mã HTML phức tạp.
* **Images**: `$response.Images.src` sẽ chỉ lấy thuộc tính **src** của từng hình ảnh trong trang, giúp dễ dàng lấy URL của hình ảnh mà không cần xử lý mã HTML đầy đủ.
#### Kết quả
Khi chạy script, bạn sẽ thấy các URL cho từng liên kết và ảnh, làm cho việc trích xuất dữ liệu dễ dàng và gọn gàng hơn.
Nếu dữ liệu cần tìm nằm trong **Content** (tức là không được lưu trong các trường đặc biệt của đối tượng **BasicHtmlWebResponseObject**), ta có thể sử dụng **Regex** để tìm nội dung đó.
Dưới đây là ví dụ tìm nội dung của các thẻ `` trong trường **Content** của phản hồi:
{% code overflow="wrap" %}
```powershell
$response = Invoke-WebRequest -Uri "https://google.com" -Method 'GET'
# Sử dụng Regex để tìm nội dung của thẻ span
if ($response.Content -match "(.*?)") {
$matches[1] # Nội dung tìm thấy sẽ được lưu trong $matches[1]
}
```
{% endcode %}
#### Giải thích
* **Regex `(.*?)`**: Câu lệnh này tìm tất cả các thẻ `` và trích xuất nội dung bên trong. Ký tự `.*?` giúp Regex dừng lại ngay khi tìm thấy dấu đóng `>`, và `(.*?)` là một nhóm bắt (capture group) để lấy nội dung giữa thẻ mở `` và thẻ đóng ``.
* **$matches\[1]**: Khi Regex tìm thấy khớp (match), nội dung bên trong thẻ `` sẽ nằm trong `$matches[1]`.
#### Kết quả
Khi chạy script, nếu có bất kỳ nội dung nào nằm giữa các thẻ ``, nó sẽ được in ra màn hình.
Điều đáng chú ý là chúng ta chưa từng định nghĩa biến `$matches` trong quá trình thực hiện, nhưng vẫn có thể sử dụng biến này để lấy kết quả tìm kiếm thông qua `$response -match`.
Điều này là do `$matches` là một biến tự động trong PowerShell. Biến này tự động lưu trữ kết quả của các phép so khớp regex (`-match` và `-notmatch`) được thực hiện ngay trước đó.
Nhờ đó, chúng ta có thể truy cập nội dung trang web như các tiêu đề, hình ảnh, và liên kết, dễ dàng tìm kiếm trong các dữ liệu này để lấy thông tin mong muốn. Sau khi truy xuất dữ liệu, bước tiếp theo là làm sạch và lưu trữ dữ liệu.
## Refining and Storaging the Data
Dữ liệu đã trích xuất thường cần được tinh chỉnh (ví dụ, loại bỏ các khoảng trắng hoặc ký tự đặc biệt không cần thiết) và lưu trữ đúng cách (ví dụ, ghi vào tệp CSV hoặc cơ sở dữ liệu).
Tiếp tục với ví dụ trên, chúng ta đã liệt kê các liên kết trong phản hồi. Giờ đây, chúng ta sẽ chỉ trích xuất các phần FQDN, không phải toàn bộ liên kết, và ghi kết quả vào tệp.
Để bắt đầu, chúng ta cần trích xuất các FQDN từ URL từ thuộc tính `href`. Ví dụ, cần lấy phần `accounts.google.com` từ một URL như `https://accounts.google.com/ServiceLogin?hl=tr&passive=true`.
Có nhiều cách để làm điều này; ví dụ, chúng ta có thể sử dụng regex hoặc dùng các hàm chuỗi để lấy phần giữa “**https\://**” và “**/**”.
Đầu tiên, chúng ta sẽ sử dụng kiểu dữ liệu **Uri** của .NET và trích xuất FQDN bằng cách truy cập thuộc tính `Host` của đối tượng **Uri**:
{% code overflow="wrap" %}
```powershell
$response = Invoke-WebRequest -Uri "https://google.com" -Method 'GET'
foreach ($link in $response.links.href) {
([System.Uri]$link).Host
}
```
{% endcode %}
Dữ liệu từ cmdlet `Invoke-WebRequest` được gán vào biến `$response`. Sau đó, chúng ta bắt đầu một vòng lặp để gán từng giá trị `href` của mỗi liên kết trong biến `$response` vào biến `$link`.
Trong vòng lặp này, chúng ta biến mỗi giá trị `$link` thành một đối tượng Uri với `[System.Uri]$link`.
Một đối tượng **Uri** sẽ trông như sau:
Trong danh sách này, thuộc tính `OriginalString` chứa URL trong biến `$link`. Khi chúng ta chuyển chuỗi này sang kiểu **Uri**, một bảng **HashTable** được tạo ra bằng cách tính toán các trường khác như đã thấy trong ảnh chụp màn hình trên. Chúng ta cần lấy thuộc tính `Host` trong số đó.
Chúng ta có thể in giá trị này ra màn hình bằng cách sau:
```powershell
([System.Uri]$link).Host
```
**Thực hiện tương tự với REGEX:**
Lần này, đầu tiên chúng ta tạo một mảng tên là `$links`. Sau đó, chúng ta cho mỗi URL trong bảng `Links` của đối tượng `$response` đi qua một mẫu REGEX với hàm `-match`, và thêm kết quả vào mảng `$links` vừa tạo. Cuối cùng, chúng ta in nội dung của mảng `$links` ra màn hình.
**Lưu ý:** `$links` mà chúng ta tạo và thuộc tính `Links` của đối tượng `$response` là hai thứ khác nhau.
```powershell
$response = Invoke-WebRequest -Uri "https://google.com" -Method 'GET'
$links = @()
foreach ($link in $response.links.href) {
$link -match '(?<=\/\/)[^\/]+(?=\/)'
$links += ($matches[0])
}
$links
```
**Lưu dữ liệu vào tệp:**
Chúng ta có thể chuyển đổi dữ liệu sang định dạng phù hợp bằng các cmdlet như `ConvertTo-Csv`, `ConvertTo-Xml`, `ConvertTo-Html`, hoặc `ConvertTo-Json`, và ghi kết quả vào tệp.
Ví dụ, chuyển đổi đầu ra sang định dạng JSON và lưu vào tệp `links.json`:
```powershell
$response = Invoke-WebRequest -Uri "https://google.com" -Method 'GET'
$links = @()
foreach ($link in $response.links.href) {
$link -match '(?<=\/\/)[^\/]+(?=\/)'
$links += ($matches[0])
}
$links | ConvertTo-Json | Set-Content -Path "links.json"
```
Trong ví dụ này, chúng ta đã chuyển đổi đầu ra sang định dạng JSON và sau đó lưu vào tệp `links.json`.
Chúng ta đã ghi dữ liệu thu được trong ví dụ của mình vào một tệp văn bản ở định dạng JSON. Tùy thuộc vào yêu cầu của ứng dụng, bạn cũng có thể ghi dữ liệu này vào một không gian đĩa ở vị trí từ xa, gửi qua FTP, ví dụ, hoặc ghi nó vào cơ sở dữ liệu.
## **Invoke-RestMethod**
Trong thế giới phần mềm ngày nay, một phần lớn các dịch vụ web hoạt động sử dụng REST APIs.
`Invoke-RestMethod` là một cmdlet cơ bản hoạt động với logic tương tự như `Invoke-WebRequest`. Sự khác biệt của nó là cung cấp các tùy chọn hỗ trợ khác nhau giúp dễ dàng thực hiện các thao tác với dịch vụ REST API.
Điều quan trọng nhất trong các hỗ trợ này là `Invoke-RestMethod` tự động phân tích phản hồi. Ví dụ, nó tự động chuyển đổi dữ liệu JSON thành các đối tượng PowerShell. Chúng ta hãy kiểm tra một ví dụ để hiểu rõ hơn:
{% code overflow="wrap" %}
```powershell
$response = Invoke-WebRequest -Uri "https://my-json-server.typicode.com/typicode/demo/comments"
$response
Write-Host "---------------------------------------------- --"
$response = Invoke-RestMethod -Uri "https://my-json-server.typicode.com/typicode/demo/comments"
$response
Write-Host "---------------------------------------------- --"
$response = Invoke-RestMethod -Uri "https://my-json-server.typicode.com/typicode/demo/comments"
$response.body
```
{% endcode %}
Trong đoạn mã của chúng ta, đầu tiên, chúng ta gọi cùng một URL với phương thức `Invoke-WebRequest`. Sau đó, chúng ta gọi nó với cmdlet `Invoke-RestMethod` và ghi toàn bộ đối tượng phản hồi ra màn hình. Cuối cùng, chúng ta gọi cùng một URL với `Invoke-RestMethod` và chỉ ghi các trường "body" trong phản hồi ra màn hình.
Kết quả đầu ra của chúng ta sẽ như sau:
Như bạn thấy, chúng ta có thể sử dụng phản hồi ở định dạng JSON trả về từ một yêu cầu GET đến dịch vụ REST như một đối tượng PowerShell mà không cần xử lý thêm.
#### **Danh sách các tham số bạn có thể sử dụng với `Invoke-RestMethod`**:
#### **Xử lý Lỗi trong Web Scraping với PowerShell**
Như với bất kỳ kịch bản PowerShell nào, việc xử lý lỗi cũng rất quan trọng trong các kịch bản web scraping. Bạn có thể sử dụng các khối `Try/Catch` để bắt các lỗi tiềm ẩn và xử lý chúng một cách thích hợp.
Chúng ta đã đề cập đến chủ đề này trong các khóa đào tạo PowerShell trước. Nếu bạn không nhớ chi tiết về cách sử dụng các khối `Try/Catch`, đây là thời gian để quay lại và ôn lại để củng cố kiến thức của mình. Bạn có thể truy cập khóa đào tạo liên quan thông qua liên kết dưới đây:
**Quản lý Lỗi: Tối ưu hóa và Quản lý Lỗi**
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://viettaliii.gitbook.io/home/education/window-pe-.net/powershell/powershell-for-analysis/web-scraping.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.