Robots.txt Editor

Sự miêu tả

Robots.txt là một trình chỉnh sửa trực quan cho Tệp Loại trừ Robot và một phần mềm phân tích nhật ký. Nó cho phép người dùng nhanh chóng và dễ dàng tạo các tệp robots.txt cần thiết để hướng dẫn các trình thu thập thông tin công cụ tìm kiếm, đây là các phần của một trang Web không được lập chỉ mục và có thể tìm kiếm được bởi công chúng Web và sau đó để xác định các trình thu thập thông tin. tuân theo các hướng dẫn đó. Chương trình cung cấp cho người dùng một cách để đăng nhập vào FTP hoặc máy chủ mạng cục bộ, sau đó chọn các tài liệu và thư mục không thể tìm kiếm được. Bằng chương trình này, bạn sẽ có thể tạo các tệp robots.txt tiêu chuẩn ngành một cách trực quan; xác định các trình thu thập dữ liệu độc hại và không mong muốn và cấm chúng khỏi trang web của bạn; hướng các trình thu thập thông tin của công cụ tìm kiếm đến các trang thích hợp cho các trang web đa ngôn ngữ; giữ cho nhện ra khỏi các khu vực nhạy cảm và riêng tư trên trang Web của bạn; theo dõi lượt truy cập của nhện và hơn thế nữa. Cập nhật và nâng cấp chương trình miễn phí không giới hạn về thời gian; không giới hạn số lượng các trang web để làm việc với.