Googlebot là gì? Những điều bạn phải làm để website được Googlebot truy cập và index

Googlebot là phần mềm thu thập thông tin website được Google xây dựng để thu thập dữ liệu từ website của bạn để xây dựng chỉ mục có thể tìm kiếm cho Công cụ tìm kiếm của Google. Tên này thực sự được sử dụng để chỉ hai loại trình thu thập thông tin web khác nhau: trình thu thập thông tin trên máy tính để bàn (để mô phỏng người dùng máy tính để bàn - Googlebot Desktop) và trình thu thập thông tin di động cho các smartphone và máy tính bản (để mô phỏng người dùng di động - Googlebot Smartphone).

Cách Googlebot hoạt động với website của bạn?

Một trang web có thể sẽ được thu thập thông tin bởi cả Googlebot Desktop và Googlebot Mobile. Tuy nhiên, Google đã thông báo rằng, bắt đầu từ tháng 9 năm 2020, tất cả các trang web được chuyển sang lập chỉ mục ưu tiên thiết bị di động, có nghĩa là Google đang thu thập dữ liệu web bằng Googlebot trên điện thoại thông minh. Xu hướng thiết bị di động gắng liền với người dùng, đa số người dùng internet đều sẽ có 1 thiết bị di động thay vì tập trung vào PC như trước đây. Điều này là lý do website ngày nay cần phải chuẩn giao diện Mobile và thân thiện khi truy cập với thiết bị di động.

Theo Google Developer chia sẻ:

Với hầu hết trang web, trung bình Googlebot sẽ không truy cập trang web của bạn nhiều hơn một lần trong vài giây. Tuy nhiên, do vấn đề trễ mạng nên có thể tốc độ truy cập trong những khoảng thời gian ngắn sẽ cao hơn một chút. Chúng tôi đã thiết kế để có thể cho phép hàng nghìn máy chạy Googlebot cùng lúc nhằm cải thiện hiệu suất và quy mô tương ứng với sự phát triển của môi trường web. Ngoài ra, để giảm mức sử dụng băng thông, chúng tôi chạy nhiều trình thu thập dữ liệu trên các máy nằm gần những trang web mà các trình đó có thể thu thập dữ liệu. Vì thế nhật ký của bạn có thể hiển thị các lượt truy cập từ nhiều máy tại google.com và tất cả đều có tác nhân người dùng Googlebot. Mục tiêu của chúng tôi là thu thập dữ liệu trên tối đa các trang trên trang web của bạn trong phạm vi có thể trong mỗi lần truy cập mà không làm quá tải băng thông máy chủ của bạn. Nếu trang web của bạn không thể đáp ứng các yêu cầu thu thập dữ liệu của Google, thì bạn có thể yêu cầu thay đổi tốc độ thu thập dữ liệu.

Loại phụ của Googlebot có thể được xác định bằng cách xem chuỗi tác nhân người dùng trong yêu cầu. Tuy nhiên, cả hai loại trình thu thập thông tin đều tuân theo cùng một mã thông báo sản phẩm (mã thông báo sử dụng) trong robots.txt và do đó, nhà phát triển không thể nhắm mục tiêu có chọn lọc Googlebot dành cho thiết bị di động hoặc máy tính để bàn của Googlebot bằng cách sử dụng robots.txt.

Nếu một nhà Quản trị website muốn hạn chế các thông tin trên trang web của họ có sẵn cho một Googlebot, hoặc một well-behaved nhện, họ có thể làm như vậy với các chỉ thị thích hợp trong một robots.txt file, hoặc bằng cách thêm thẻ meta <meta name="Googlebot" content="nofollow" /> lên web trang. Các yêu cầu của Googlebot tới máy chủ Web có thể nhận dạng được bằng chuỗi tác nhân người dùng chứa "Googlebot" và địa chỉ máy chủ chứa "googlebot.com".

Hiện tại, Googlebot đi theo các liên kết HREF và liên kết SRC. Ngày càng có nhiều bằng chứng Googlebot có thể thực thi JavaScript và phân tích cú pháp nội dung được tạo bởi các lệnh gọi Ajax. Có nhiều lý thuyết liên quan đến khả năng xử lý JavaScript của Googlebot nâng cao như thế nào, với các ý kiến ​​khác nhau, từ khả năng tối thiểu bắt nguồn từ trình thông dịch tùy chỉnh. Hiện tại, Googlebot sử dụng dịch vụ kết xuất web (WRS) dựa trên công cụ kết xuất Chromium (phiên bản 74 kể từ ngày 7 tháng 5 năm 2019).

> Xem thêm: CMS là gì? Các tính năng của hệ thống quản trị nội dung CMS

Tóm lại cách để Googlebot thu nhập thông tin là

Googlebot phát hiện ra các trang bằng cách thu thập mọi liên kết trên mọi trang mà nó có thể tìm thấy. Sau đó, nó theo các liên kết này đến các trang web khác. Các trang web mới phải được liên kết đến từ các trang đã biết khác trên web để được thu thập thông tin và lập chỉ mục hoặc do quản trị viên web gửi theo cách thủ công.

Một vấn đề mà các quản trị viên web có kế hoạch lưu trữ web băng thông thấp thường lưu ý với Googlebot là nó chiếm một lượng lớn băng thông. Điều này có thể khiến các trang web vượt quá giới hạn băng thông của chúng và tạm thời bị gỡ xuống. Điều này đặc biệt rắc rối đối với các trang nhân bản lưu trữ nhiều gigabyte dữ liệu. Google cung cấp " Google Search Console " cho phép chủ sở hữu trang web điều chỉnh tốc độ thu thập dữ liệu.

Googlebot thường truy cập website với tần suất thế nào?

Tần suất Googlebot sẽ thu thập dữ liệu một trang web tùy thuộc vào ngân sách thu thập thông tin. Ngân sách thu thập thông tin là ước tính tần suất cập nhật trang web.

Về mặt kỹ thuật, nhóm phát triển của Googlebot (nhóm Thu thập thông tin và Lập chỉ mục) sử dụng một số thuật ngữ đã xác định trong nội bộ để tiếp quản "ngân sách thu thập thông tin" là viết tắt của cụm từ nào. Kể từ tháng 5 năm 2019, Googlebot sử dụng công cụ kết xuất Chromium mới nhất, hỗ trợ các tính năng ECMAScript 6. Điều này sẽ làm cho bot "thường xanh" hơn một chút và đảm bảo rằng nó không dựa vào một công cụ kết xuất lỗi thời so với khả năng của trình duyệt.

Cách chặn Googlebot truy cập trang web của bạn

Phương thức giữ bí mật một máy chủ web bằng cách không xuất bản các đường liên kết đến máy chủ đó hầu như không có hiệu quả. Ví dụ: ngay khi một người nào đó theo một đường liên kết từ máy chủ "bí mật" của bạn đến một máy chủ web khác, URL "bí mật" của bạn có thể xuất hiện trong thẻ liên kết giới thiệu và có thể được máy chủ web khác lưu trữ và xuất bản trong nhật ký liên kết giới thiệu của máy chủ đó. Tương tự như vậy, có nhiều đường liên kết đã lỗi thời và bị hỏng trên web. Mỗi khi ai đó phát hành một đường liên kết không chính xác đến trang web của bạn hoặc không cập nhật đường liên kết để phản ánh thay đổi trong máy chủ của bạn, Googlebot sẽ cố gắng thu thập dữ liệu trên một đường liên kết không chính xác từ trang web của bạn.

Bạn có thể lựa chọn một số cách để ngăn Googlebot thu thập dữ liệu nội dung trên trang web của bạn. Hãy lưu ý sự khác biệt giữa việc ngăn Googlebot thu thập dữ liệu một trang/ngăn Googlebot lập chỉ mục một trang và ngăn cả trình thu thập dữ liệu hoặc người dùng truy cập một trang.

Có thể hiểu là dù bạn làm gì thì cơ bản Googlebot vẫn truy cập website của bạn bằng cách này hay cách khác. Các đường dẫn website có thể là từ những đường dẫn được chia sẻ ở dạng backlink từ các site khác đôi khi bạn không chia sẽ nhưng kể cả đường dẫn sai thì Google cũng truy cập nên cơ bản đâu đó thì Google vẫn biết được sự truy cập của bạn.

Mặc khác, Chrome là nền tảng do Google phát triển, cơ quan khảo sát thống kê Netmarketshare đã công bố một báo cáo mới nhất đến tháng 4-2020, đối với thị trường trình duyệt toàn cầu, tình hình không có nhiều biến động. Google Chrome vẫn đang thống trị khi tăng từ 68,5% lên 69,18%, Microsoft Chromium Edge tăng từ 7,59% lên 7,76% và trình duyệt Firefox cũng tăng từ 7,19% đến 7,25%.

Điều này lý giải cho lý do Googlebot sẽ luôn có thể biết các website và URL của bạn cho dù bạn che giấu nó, vấn đề với nhà quản trị website là bạn có muốn lập chỉ mục để được listing lên website Google hay không?

Đối với SEO, điều quan tâm thì lại chủ yếu là được lập chỉ mục và lập thường xuyên để duy trì thứ hạng.

Cách xác minh Googlebot trên Website của bạn
Trước khi bạn quyết định chặn Googlebot, hãy lưu ý rằng các trình thu thập dữ liệu khác thường giả mạo chuỗi tác nhân người dùng mà Googlebot sử dụng. Điều quan trọng là bạn phải xác minh được rằng yêu cầu gặp vấn đề thực sự đến từ Google. Cách tốt nhất để xác minh rằng một yêu cầu thực sự đến từ Googlebot là sử dụng quy trình tra cứu DNS ngược đối với IP nguồn của yêu cầu đó.

Googlebot và tất cả bot công cụ tìm kiếm có uy tín sẽ tuân theo các lệnh trong tệp robots.txt, nhưng một số người có ý đồ bất chính và kẻ gian lận lại không làm như vậy. Google tích cực ngăn chặn những kẻ dùng mánh khóe để tăng thứ hạng tìm kiếm. Nếu nhận thấy các trang hoặc trang web có mánh khóe tăng thứ hạng trong kết quả của Google Tìm kiếm, bạn có thể báo cáo mánh khóe đó cho Google.

Tóm tắt lại, làm gì để Googlebot truy cập website của bạn và truy cập với tầng suất thường xuyên hơn

Tổng hợp biên tập từ nguồn developers.google.com và Wikimepia

>> Xem thêm bài viết cùng chủ đề:

• Cập nhật các thuật toán mới của Google để điều chỉnh SEO hiệu quả
• Tổng hợp các hình phạt của Google khiến traffic bị giảm
• 42 thuật ngữ SEO mà mọi SEOer cần biết khi làm SEO