บทความ

บทนำ: คุณจะได้อะไรและใครควรอ่าน

ระบบ RAG จะดีได้ก็ต่อเมื่อคลังข้อมูลที่มันใช้อ้างอิงดีพอ คุณอาจใช้โมเดลภาษาที่แข็งแกร่งที่สุด เชื่อมต่อฐานข้อมูลเวกเตอร์ราคาแพง แต่ผลลัพธ์ที่ได้กลับเป็นเรื่องเหลวไหลอย่างมั่นใจ ถ้าในคลังข้อมูลมีเมนูเว็บไซต์ ฟุตเตอร์ที่มีลิขสิทธิ์ บทความเดียวกันซ้ำห้าฉบับ และหน้าเว็บ "สินค้าหมดชั่วคราว" โมเดลไม่สามารถแยกแยะขยะออกจากความรู้ได้ มันแค่ค้นหาส่วนที่คล้ายกันและประกอบคำตอบขึ้นมา

คู่มือทีละขั้นตอนนี้มุ่งเน้นเพียงขั้นตอนเดียว: การรวบรวมคลังข้อมูล เราจะไม่พูดถึงโครงสร้างของฐานข้อมูลเวกเตอร์ การเลือก embedding หรือการกำหนดค่า chunk เพราะมีเนื้อหาแยกต่างหากในบล็อกแล้ว ที่นี่เราจะหยุดตรงขอบเขตพอดี: คุณมีชุดเอกสารที่สะอาด มีการติดป้ายกำกับ ลบข้อมูลซ้ำแล้ว ในรูปแบบ JSONL บนดิสก์ของคุณ ซึ่งพร้อมส่งให้ไปป์ไลน์การทำดัชนีใดก็ได้

สิ่งที่คุณจะได้รับในที่สุด:

  • รายการแหล่งข้อมูลที่มีขอบเขตชัดเจน: เก็บอะไร ไม่เก็บอะไร
  • ตัวเก็บข้อมูลที่ใช้งานได้บน Python ซึ่งวิ่งผ่านพร็อกซีมือถือ เคารพขีดจำกัด และไม่ทำให้เว็บไซต์ของคนอื่นล่ม
  • โฟลเดอร์ที่มีหน้าเว็บและเอกสารดิบ แต่ละชิ้นมี metadata
  • สคริปต์สำหรับแยกข้อความหลักโดยไม่มีเมนู โฆษณา และบล็อกเทมเพลต
  • ตัวกรองคุณภาพและการลบข้อมูลซ้ำ ที่จะกำจัดขยะก่อนที่มันจะเข้าสู่ดัชนี
  • ไฟล์คลังข้อมูลสุดท้ายและรายงานที่มีตัวเลข ซึ่งแสดงให้เห็นว่าทุกอย่างทำอย่างถูกต้อง

คู่มือนี้สำหรับใคร สำหรับนักการตลาดและเจ้าของธุรกิจที่ต้องการรวบรวมฐานความรู้ในสายงานของตนและสร้างผู้ช่วยบนพื้นฐานนั้น สำหรับนักทำ arbitrage ที่ต้องการคลังข้อมูลเกี่ยวกับข้อเสนอหน้า landing page และกฎของแพลตฟอร์มโฆษณา สำหรับนักพัฒนาที่เคยเชื่อมต่อพร็อกซีกับสคริปต์และตอนนี้ต้องการทำอย่างระมัดระวังและเป็นระบบ เนื้อหาหลักเขียนสำหรับผู้เริ่มต้น และตอนท้ายมีบล็อกแยกสำหรับผู้เชี่ยวชาญ

สิ่งที่ต้องรู้ล่วงหน้า สามารถรันคำสั่งใน terminal และเปิดไฟล์ในโปรแกรมแก้ไขข้อความได้ มีความเข้าใจพื้นฐานเกี่ยวกับ Python ในระดับ "เข้าใจว่า loop for ทำอะไร" และสามารถเข้าถึงพร็อกซีมือถือได้: ที่อยู่ พอร์ต ชื่อผู้ใช้ รหัสผ่าน และลิงก์เปลี่ยน IP

ต้องใช้เวลานานแค่ไหน การเตรียมสภาพแวดล้อมประมาณ 30 นาที การทำตามทุกขั้นตอนใช้เวลา 3 ถึง 5 ชั่วโมง ขึ้นอยู่กับขนาดของคลังข้อมูล การเก็บข้อมูลหลายพันหน้าเองอาจใช้เวลาหลายชั่วโมงในเบื้องหลัง แต่คุณไม่จำเป็นต้องอยู่ดูแลในระหว่างนั้น

การเตรียมการเบื้องต้น: เครื่องมือ สิทธิ์การเข้าถึง สภาพแวดล้อม

ก่อนจะเขียนโค้ดบรรทัดแรก มาจัดระเบียบพื้นที่ทำงานกันก่อน ซึ่งจะประหยัดเวลาการดีบักในภายหลังได้หลายชั่วโมง

ข้อกำหนดของระบบ

  • คอมพิวเตอร์หรือเซิร์ฟเวอร์ที่ใช้ Windows 10/11, macOS หรือ Linux สำหรับการเก็บข้อมูลหลายหมื่นหน้า การใช้ VPS เช่าเหมาะสมกว่า แต่สำหรับคลังข้อมูลแรกแล็ปท็อปก็เพียงพอ
  • หน่วยความจำอย่างน้อย 8 GB การลบข้อมูลซ้ำในคลังขนาดใหญ่กินหน่วยความจำมาก
  • พื้นที่ดิสก์ว่าง: อย่างน้อย 5 GB HTML ดิบใช้พื้นที่มากกว่าข้อความสะอาด 5-10 เท่า และเราจะเก็บทั้งสองอย่าง
  • อินเทอร์เน็ตที่เสถียร พร็อกซีเพิ่มความหน่วง ดังนั้นช่องทางบ้านที่ช้าจะทำให้การเก็บข้อมูลยืดเยื้ออย่างชัดเจน

สิ่งที่ต้องติดตั้ง

  1. Python 3.11 หรือใหม่กว่า ดาวน์โหลดตัวติดตั้งจากเว็บไซต์ทางการ เมื่อติดตั้งบน Windows ให้ติ๊กถูกที่ "Add Python to PATH" ตรวจสอบใน terminal: python --version ควรแสดงบรรทัดเช่น Python 3.12.x
  2. สภาพแวดล้อมเสมือน สร้างโฟลเดอร์โปรเจกต์ เช่น rag-corpus เข้าไปในโฟลเดอร์และรัน python -m venv venv เปิดใช้งาน: บน Windows venv\Scripts\activate บน macOS และ Linux source venv/bin/activate ที่ต้นบรรทัด terminal จะปรากฏ (venv)
  3. ไลบรารี ติดตั้งด้วยคำสั่งเดียว: pip install requests trafilatura pypdf python-docx langdetect datasketch tqdm การติดตั้งใช้เวลา 1-3 นาที
  4. โปรแกรมแก้ไขข้อความ ที่มี syntax highlighting: VS Code, PyCharm Community หรืออื่น ๆ

สิทธิ์การเข้าถึงพร็อกซี

เปิดแดชบอร์ดของบริการพร็อกซีของคุณ ในบัตรของพร็อกซีมือถือที่ซื้อมา หาค่าสี่อย่าง: โฮสต์ (ที่อยู่ IP หรือชื่อโดเมน) พอร์ต สำหรับ HTTP และพอร์ตสำหรับ SOCKS5 ชื่อผู้ใช้ และ รหัสผ่าน แยกคัดลอก ลิงก์เปลี่ยน IP: เป็น URL ที่เพียงส่งคำขอ GET เพื่อให้พร็อกซีขอที่อยู่ใหม่จากผู้ให้บริการ บันทึกทั้งหมดนี้ในไฟล์ .env ในโฟลเดอร์โปรเจกต์ ไม่ใช่ในโค้ดโดยตรง

โครงสร้างโฟลเดอร์

สร้างโฟลเดอร์ต่อไปนี้ในโปรเจกต์: raw สำหรับหน้าเว็บดิบ clean สำหรับข้อความที่แยกออกมา corpus สำหรับไฟล์สุดท้าย logs สำหรับบันทึก โฟลเดอร์ว่างตอนเริ่มต้นเป็นเรื่องปกติ

การสำรองข้อมูล

การรวบรวมคลังข้อมูลใช้เวลานาน และการสูญเสียมันเป็นเรื่องน่าเสียดาย ตกลงกับตัวเองเป็นกฎ: โฟลเดอร์ raw ไม่เคยถูกเขียนทับ เพียงเพิ่มเติมเท่านั้น หลังแต่ละขั้นตอนสำคัญ ให้เก็บสำรองผลลัพธ์: tar -czf raw_backup_2026-03-01.tar.gz raw/ บน Linux และ macOS หรือใช้โปรแกรมบีบอัดในตัวของ Windows ถ้าคุณตั้งค่าตัวกรองผิดและลบสิ่งที่ไม่ควรลบ คุณสามารถกลับไปยังข้อมูลดิบได้เสมอโดยไม่ต้องเก็บใหม่

คำแนะนำ: สร้างไฟล์ sources.md ตั้งแต่แรกและบันทึกทุกการตัดสินใจ: เลือกเว็บไซต์ใด ยกเว้นส่วนใด เพราะเหตุใด อีกหนึ่งเดือนเมื่อผู้ช่วยเริ่มตอบแปลก ๆ ไฟล์นี้จะช่วยคุณได้ทั้งเย็น

แนวคิดพื้นฐานที่อธิบายอย่างง่าย

ถ้าคุณรวบรวมข้อมูลสำหรับระบบ RAG เป็นครั้งแรก มีคำศัพท์หลายคำที่จะพบในทุกขั้นตอน มาอธิบายสั้น ๆ

RAG คืออะไรและทำไมคลังข้อมูลจึงสำคัญกว่าโมเดล

RAG (Retrieval-Augmented Generation) เป็นวิธีการที่โมเดลภาษาก่อนตอบจะได้รับชุดข้อความที่เกี่ยวข้องจากฐานความรู้ของคุณ โมเดลไม่ได้ "รู้" เอกสารของคุณ มันอ่านส่วนที่ค้นพบและตอบตามนั้น ดังนั้นกฎง่าย ๆ คือ: ถ้าในฐานข้อมูลมีขยะ ไม่ช้าก็เร็วการค้นหาจะดึงขยะนั้นออกมา และคำตอบจะอ้างอิงบรรทัด "สมัครรับจดหมายข่าว" แทนที่จะเป็นคำแนะนำ ดังนั้นขั้นตอนการรวบรวมคลังข้อมูลจึงข้ามไม่ได้

คลังข้อมูล เอกสาร metadata

คลังข้อมูล คือชุดข้อความทั้งหมดที่จะเข้าสู่ระบบ RAG เอกสาร คือหน่วยความหมายหนึ่งหน่วย: บทความ หน้าช่วยเหลือ คู่มือ PDF การ์ดสินค้า Metadata คือหนังสือเดินทางของเอกสาร: มาจากไหน เก็บเมื่อไหร่ ภาษาใด ใครเป็นผู้เขียน อยู่ในส่วนใด หากไม่มี metadata คุณจะไม่สามารถอัปเดตคลัง อธิบายที่มาของคำตอบแก่ผู้ใช้ หรือกรองสิ่งล้าสมัยได้

พร็อกซีมือถือและเหตุใดจึงใช้ในการรวบรวมข้อมูล

พร็อกซีมือถือ คือเซิร์ฟเวอร์ตัวกลางที่ส่งคำขอของคุณออกสู่อินเทอร์เน็ตผ่านที่อยู่ IP ของผู้ให้บริการมือถือ สำหรับการรวบรวมคลังข้อมูล มันแก้ปัญหาปฏิบัติได้สามประการ ประการแรก: การกระจายโหลด แทนที่จะยิงไปที่เว็บไซต์จากที่อยู่เดียว คุณวิ่งจากที่อยู่ต่าง ๆ และแต่ละแหล่งเห็นทราฟฟิกที่เงียบและหายาก ประการที่สอง: ภูมิศาสตร์ หลายเว็บไซต์แสดงเนื้อหา ราคา และสต็อกที่แตกต่างกันตามภูมิภาค และพร็อกซีมือถือของเมืองที่ต้องการให้เวอร์ชันของหน้าที่ลูกค้าของคุณเห็น ประการที่สาม: ความเสถียรของเซสชันยาว การหมุน IP ผ่านลิงก์ช่วยให้เก็บข้อมูลต่อได้หลายชั่วโมงโดยไม่ขึ้นกับที่อยู่เดียว

การหมุน คือการเปลี่ยนที่อยู่ IP มีทั้งแบบตามกำหนดการ (ทุก N นาที) และแบบตามคำขอ (คุณดึงลิงก์เมื่อต้องการ) ในการรวบรวมคลังข้อมูลแบบที่สองสะดวกกว่า: เปลี่ยนแหล่ง เปลี่ยนที่อยู่

อะไรถือว่าเป็นขยะ

ในบริบทของคลังข้อมูล ขยะคือทุกสิ่งที่ไม่มีความรู้เกี่ยวกับหัวข้อของคุณ แต่กินที่ในดัชนีและทำให้การค้นหาแย่ลง:

  • เมนูนำทาง ฟุตเตอร์ "breadcrumbs" แบบฟอร์มสมัครสมาชิก
  • ข้อมูลซ้ำที่เหมือนกันหรือเกือบเหมือนกันของข้อความเดียวกันในที่อยู่ต่าง ๆ
  • หน้าตัวแทน: "ไม่พบหน้าเว็บ" "สินค้าหมด" "อยู่ระหว่างการบำรุงรักษา"
  • ข้อความในภาษาอื่น หากคลังเป็นภาษาเดียว
  • หน้าที่ถูกตัดขาด ซึ่งพร็อกซีหรือเว็บไซต์ส่ง HTML มาแค่ครึ่งเดียว
  • เนื้อหาของผู้อื่นที่คุณไม่มีสิทธิ์ใช้

กรอบทางกฎหมาย

เก็บเฉพาะข้อมูลเปิดที่เข้าถึงได้โดยไม่ต้องล็อกอินและเอกสารของคุณเอง เคารพไฟล์ robots.txt: เป็นรายการกฎของเว็บไซต์ว่าส่วนใดสามารถเข้าชมโดยอัตโนมัติได้ อย่าเก็บข้อมูลส่วนบุคคลของบุคคลที่สาม: ชื่อพร้อมเบอร์โทร ที่อยู่ บัญชี หากคุณสร้างคลังจากเอกสารภายในของตัวเอง ให้แน่ใจว่าคุณมีสิทธิ์ใช้ พร็อกซีในคู่มือนี้ใช้เป็นเครื่องมือสำหรับการเก็บข้อมูลแบบกระจายอย่างซื่อสัตย์ ไม่ใช่เป็นวิธีทำสิ่งที่แหล่งข้อมูลห้าม

ขั้นตอนที่ 1: กำหนดขอบเขตของคลังข้อมูลและสร้างแผนที่แหล่งข้อมูล

เป้าหมายของขั้นตอนนี้: ได้ไฟล์ที่มีรายการแหล่งข้อมูล ซึ่งแต่ละแหล่งระบุว่า URL ใดเก็บ ใดยกเว้น ความลึกในการเข้าชม และจำนวนคำขอต่อนาทีที่อนุญาต

สาเหตุที่พบบ่อยที่สุดของคลังข้อมูลขยะไม่ใช่ข้อผิดพลาดทางเทคนิค แต่เป็นการขาดขอบเขต คนรันตัวเก็บข้อมูล "ทั้งเว็บไซต์" ได้ 40,000 หน้า ซึ่งในหัวข้อมีเพียง 800 หน้า และต้องทำความสะอาดเป็นอาทิตย์ มาทำตรงกันข้าม: แผนที่ก่อน แล้วจึงเก็บ

คำแนะนำ

  1. กำหนดคำถามที่ระบบ RAG ของคุณต้องตอบ เขียนคำถามจริงของผู้ใช้ 20-30 ข้อ ตัวอย่างเช่น สำหรับฐานความรู้ของบริการพร็อกซี: "วิธีเปลี่ยน IP ผ่านลิงก์" "ทำไมพร็อกซีตอบช้า" "พอร์ตใดรองรับ" คำถามเหล่านี้จะเป็นชุดทดสอบของคุณในขั้นตอนการตรวจสอบ
  2. สำหรับแต่ละคำถาม บันทึกว่าคำตอบอยู่ที่ไหน ส่วนช่วยเหลือ เอกสาร บทความบล็อก ระเบียบ PDF หน้าสินค้า ทุกสิ่งที่ไม่ในรายการนี้ไม่เข้าคลังข้อมูล
  3. เปิดแต่ละแหล่งในเบราว์เซอร์และศึกษาโครงสร้างที่อยู่ ปกติเนื้อหาที่มีประโยชน์อยู่ที่ prefix ที่ชัดเจน: /help/, /docs/, /blog/, /faq/ และขยะอยู่ที่อื่น: /tag/, /search?, /cart/, /author/ หน้า pagination เช่น ?page=
  4. ตรวจสอบ robots.txt ของแหล่งข้อมูล เปิด https://โดเมน/robots.txt หาบรรทัด Disallow: เส้นทางเหล่านี้ยกเว้นโดยไม่ต้องถกเถียง หากมีการระบุ Crawl-delay ให้บันทึกเป็นเวลาหยุดขั้นต่ำระหว่างคำขอ
  5. หา sitemap มักระบุใน robots.txt ที่บรรทัด Sitemap: หรืออยู่ที่ /sitemap.xml Sitemap คือรายการที่อยู่พร้อมใช้ ซึ่งจะช่วยให้คุณไม่ต้องเข้าชมลิงก์แบบเรียกซ้ำและขยะที่เกี่ยวข้อง
  6. กำหนดโหลด สำหรับเว็บไซต์เล็ก ตั้งค่าไม่เกิน 10-15 คำขอต่อนาที สำหรับพอร์ทัลขนาดใหญ่ที่มี CDN อนุญาตได้ถึง 30 หากไม่แน่ใจ ให้ใช้น้อยกว่า: คลังข้อมูลไม่เร่งด่วน
  7. กำหนดภูมิศาสตร์ หากเนื้อหาขึ้นกับภูมิภาค (ราคา การจัดส่ง สต็อก) ตัดสินใจว่าตัวเก็บข้อมูลควร "มอง" จากเมืองใด และเลือกพร็อกซีมือถือที่เหมาะสม
  8. จัดทำทั้งหมดในไฟล์ sources.json

ตัวอย่างรายการสำหรับแหล่งเดียว:

[ {'name': 'help_center','sitemap': 'https://example.ru/sitemap.xml','include_prefixes': ['https://example.ru/help/', 'https://example.ru/docs/'],'exclude_patterns': ['/tag/', '/search', '?page=', '/print/'],'rate_per_minute': 12,'geo': 'RU-MOW','lang': 'ru','rotate_every': 40 }]

ฟิลด์ rotate_every กำหนดว่าหลังจากกี่คำขอ ตัวเก็บข้อมูลจะดึงลิงก์เปลี่ยน IP แทนที่เครื่องหมายคำพูดเดี่ยวด้วยคู่เมื่อบันทึกเป็นไฟล์ JSON จริง ที่นี่แสดงเพื่อความชัดเจน

ข้อควรระวัง: อย่าเพิ่มเว็บไซต์ที่เนื้อหาที่มีประโยชน์มองเห็นได้เฉพาะหลังล็อกอินเข้าบัญชี ประการแรก มันละเมิดข้อตกลงผู้ใช้ของแพลตฟอร์มส่วนใหญ่ ประการที่สอง คลังข้อมูลเช่นนั้นไม่สามารถอัปเดตและเผยแพร่ภายในบริษัทได้อย่างถูกกฎหมาย

คำแนะนำ: สร้างแหล่งแยกสำหรับเอกสารของคุณเอง: โฟลเดอร์ที่มี PDF, DOCX และการส่งออกจาก CRM หรือฐานความรู้ของคุณ ไม่ต้องดาวน์โหลดผ่านพร็อกซี แต่ประมวลผลและทำความสะอาดด้วยไปป์ไลน์เดียวกับหน้าเว็บ

การตรวจสอบ: คุณมีไฟล์ sources.json ซึ่งแต่ละแหล่งมี prefix ที่รวม pattern ที่ยกเว้น ขีดจำกัดคำขอ และภาษา เปิด 5 ที่อยู่สุ่มจาก sitemap ที่ตรงกับตัวกรองและตรวจสอบว่าแต่ละที่มีข้อความที่มีเนื้อหา ไม่ใช่แค่แค็ตตาล็อกลิงก์

ปัญหาที่อาจเกิดขึ้น

  • เว็บไซต์ไม่มี sitemap รวบรวมรายการที่อยู่จากหน้าสารบัญหลายหน้าด้วยมือ หรือผ่านการเข้าชมลิงก์อย่างง่ายเฉพาะภายใน prefix ที่อนุญาตที่ความลึก 2
  • Sitemap มี 100,000 ที่อยู่ กรองตาม prefix จากนั้นเลือกตัวอย่าง 200 ที่อยู่ เก็บและประเมินคุณภาพก่อนรันทั้งหมด
  • เนื้อหาที่มีประโยชน์กระจายอยู่ตามโดเมนต่าง ๆ สร้างบันทึกแยกใน sources.json สำหรับแต่ละโดเมน พร้อมขีดจำกัดและภูมิศาสตร์ของตัวเอง

ขั้นตอนที่ 2: เชื่อมต่อพร็อกซีมือถือและตรวจสอบว่าคำขอวิ่งผ่านมัน

เป้าหมายของขั้นตอนนี้: ตรวจสอบให้แน่ใจว่าสคริปต์วิ่งผ่านพร็อกซีมือถือจริง การหมุนทำงาน และความหน่วงยอมรับได้สำหรับการเก็บข้อมูล

คำแนะนำ

  1. สร้างไฟล์ .env ในรากของโปรเจกต์และป้อนค่าจากแดชบอร์ด:
PROXY_HOST=proxy.example.net PROXY_PORT=10000 PROXY_USER=your_login PROXY_PASS=your_password ROTATE_URL=https://changeip.example.net/?proxy_key=xxxxxxxx

แต่ละค่าอยู่บรรทัดแยกกัน เพิ่ม .env ใน .gitignore หากใช้ระบบควบคุมเวอร์ชัน

  1. สร้างไฟล์ proxy_check.py ด้วยเนื้อหาต่อไปนี้:
import os, time, requests from dotenv import load_dotenv load_dotenv() host = os.getenv('PROXY_HOST') port = os.getenv('PROXY_PORT') user = os.getenv('PROXY_USER') pwd = os.getenv('PROXY_PASS') rotate_url = os.getenv('ROTATE_URL') proxy_url = 'http://' + user + ':' + pwd + '@' + host + ':' + port PROXIES = {'http': proxy_url, 'https': proxy_url} def my_ip(): r = requests.get('https://api.ipify.org?format=json', proxies=PROXIES, timeout=30) return r.json()['ip'] print('IP без прокси:', requests.get('https://api.ipify.org?format=json', timeout=30).json()['ip']) t0 = time.time() ip1 = my_ip() print('IP через прокси:', ip1, 'за', round(time.time() - t0, 2), 'сек') print('Меняем IP...') requests.get(rotate_url, timeout=60) time.sleep(8) ip2 = my_ip() print('IP после ротации:', ip2) print('Ротация сработала:', ip1 != ip2)

ติดตั้ง pip install python-dotenv ก่อน บรรทัดโค้ดในไฟล์จริงอยู่บรรทัดละบรรทัด

  1. รัน: python proxy_check.py
  2. อ่านผลลัพธ์ IP แรกควรเป็นที่อยู่บ้านหรือเซิร์ฟเวอร์ของคุณ IP ที่สองควรแตกต่างและเป็นของผู้ให้บริการมือถือ IP ที่สามควรแตกต่างจากที่สอง และบรรทัดสุดท้ายแสดง True
  3. วัดความหน่วง หากคำขอผ่านพร็อกซีใช้เวลามากกว่า 5-6 วินาที การเก็บข้อมูลจะช้า ตรวจสอบว่าพร็อกซีที่เลือกอยู่ใกล้กับเว็บไซต์เป้าหมายทางภูมิศาสตร์ หรือติดต่อฝ่ายสนับสนุนบริการ
  4. ลอง SOCKS5 เป็นทางเลือก หากพอร์ต HTTP ให้ผลลัพธ์ไม่เสถียร เปลี่ยน http:// ใน proxy_url เป็น socks5h:// และเปลี่ยนพอร์ตเป็นพอร์ต SOCKS5 จากแดชบอร์ด ต้องใช้ pip install requests[socks] ส่วนต่อท้าย h สำคัญ: มันบังคับให้พร็อกซีแก้ไขชื่อโดเมนด้วยตัวเอง

ข้อควรระวัง: อย่ารันการหมุน IP บ่อยกว่าที่แพ็กเกจของคุณอนุญาต พร็อกซีมือถือส่วนใหญ่มีช่วงเวลาขั้นต่ำระหว่างการเปลี่ยน โดยปกติตั้งแต่ 30 วินาทีถึง 2 นาที คำขอที่บ่อยเกินไปไปยังลิงก์หมุนจะถูกละเลยหรือบล็อกฟังก์ชันชั่วคราว

คำแนะนำ: วัดความหน่วงห้าครั้งติดต่อกันและบันทึกค่ามัธยฐาน ตัวเลขนี้จะใช้ในขั้นตอนถัดไปเพื่อตั้ง timeout อย่างถูกต้อง: timeout ควรประมาณ 4-5 เท่าของความหน่วงทั่วไป

การตรวจสอบ: สคริปต์แสดงที่อยู่ IP สามที่อยู่ที่แตกต่างกัน บรรทัด Ротация сработала: True และความหน่วงทั่วไปผ่านพร็อกซีไม่เกิน 3-4 วินาที หากเป็นเช่นนั้น พร็อกซีพร้อมใช้งาน

ปัญหาที่อาจเกิดขึ้น

  • ข้อผิดพลาด 407 Proxy Authentication Required ตรวจสอบชื่อผู้ใช้และรหัสผ่าน ตรวจสอบว่าไม่มีช่องว่างเกิน หากในรหัสผ่านมีอักขระ @ หรือ : เข้ารหัสผ่าน urllib.parse.quote
  • ข้อผิดพลาด Connection refused หรือ timeout พร็อกซีอาจผูกกับ IP สีขาวของคุณ เข้าแดชบอร์ดและเพิ่มที่อยู่เซิร์ฟเวอร์ปัจจุบันในรายการที่อนุญาต หรือเปลี่ยนเป็นการยืนยันตัวตนด้วยชื่อผู้ใช้และรหัสผ่าน
  • IP หลังการหมุนไม่เปลี่ยน เพิ่มเวลาหยุดหลังจากคำขอไปยังลิงก์หมุนเป็น 15-20 วินาที ผู้ให้บริการบางรายออกที่อยู่ใหม่ไม่ทันที
  • ข้อผิดพลาด SSL อัปเดตไลบรารี certifi ด้วยคำสั่ง pip install -U certifi อย่าปิดการตรวจสอบใบรับรองด้วยพารามิเตอร์ verify=False: ไม่ปลอดภัย

ขั้นตอนที่ 3: เขียนตัวเก็บข้อมูลที่แม่นยำพร้อมขีดจำกัด การหมุน และบันทึก

เป้าหมายของขั้นตอนนี้: ได้สคริปต์ที่ผ่านที่อยู่จาก sitemap เคารพ robots.txt และขีดจำกัด วิ่งผ่านพร็อกซี เปลี่ยน IP ตามกำหนดการ บันทึก HTML ดิบและเก็บบันทึกที่แสดงทุกคำขอ

ที่นี่สิ่งสำคัญคือต้องเข้าใจปรัชญา ตัวเก็บข้อมูลที่ดีสำหรับระบบ RAG นั้นเชื่องช้า สุภาพ และละเอียดถี่ถ้วนอย่างหวาดระแวงในบันทึก ครอว์เลอร์ที่รวดเร็วและก้าวร้าวจะเก็บหน้าที่ถูกตัดและข้อผิดพลาด 429 ให้คุณ และคุณจะไม่เข้าใจว่าอะไรคือขยะ

คำแนะนำ

  1. สร้างไฟล์ fetch.py โครงสร้างสคริปต์: โหลดการตั้งค่า แยก sitemap กรองที่อยู่ ลูปคำขอพร้อมเวลาหยุด บันทึกผลลัพธ์
  2. โหลด sitemap และกรองที่อยู่ Sitemap เป็น XML ที่แต่ละที่อยู่ในแท็ก loc แยกด้วย xml.etree.ElementTree มาตรฐาน เก็บเฉพาะที่อยู่ที่เริ่มต้นด้วย include_prefixes และไม่มี exclude_patterns ใด บันทึกผลลัพธ์ใน urls_help_center.txt และดูด้วยตา
  3. เชื่อมต่อการตรวจสอบ robots.txt ใช้ urllib.robotparser.RobotFileParser: โหลดไฟล์ครั้งเดียวต่อโดเมนและก่อนทุกคำขอถาม can_fetch(user_agent, url) ที่อยู่ที่ห้ามให้ข้ามและเขียนในบันทึกด้วยหมายเหตุ robots_disallow
  4. ตั้ง User-Agent ที่ซื่อสัตย์ ตัวอย่าง: CorpusCollector/1.0 (+contact: data@yourcompany.ru) เจ้าของเว็บไซต์ควรเข้าใจว่าใครมาและติดต่อได้อย่างไร นี่ไม่ใช่แค่จริยธรรม แต่เป็นปฏิบัติ: agent ที่ชัดเจนมักถูกจำกัดโดยอัตโนมัติน้อยกว่า
  5. ใช้เวลาหยุด จาก rate_per_minute คำนวณเวลาหยุดพื้นฐาน: 60 / rate_per_minute วินาที เพิ่มองค์ประกอบสุ่ม 20-40 เปอร์เซ็นต์ เพื่อให้คำขอไม่วิ่งตามเมโทรนอม หากใน robots.txt มี Crawl-delay ให้ใช้ค่ามากกว่าของสองค่า
  6. ใช้การหมุน นับคำขอ และเมื่อตัวนับถึง rotate_every เรียกลิงก์เปลี่ยน IP รอ 10 วินาที รีเซ็ตตัวนับ การหมุนควรทำเมื่อเปลี่ยนไปยังแหล่งถัดไปด้วย
  7. จัดการการตอบสนอง รหัส 200 บันทึก รหัส 301 และ 302 requests จัดการเอง แต่บันทึกที่อยู่สุดท้าย: จำเป็นสำหรับการลบข้อมูลซ้ำ รหัส 404 เขียนในบันทึกและข้าม รหัส 429 หรือ 503 หมายถึง "บ่อยเกินไป": หยุด 5 นาที เพิ่มเวลาหยุดพื้นฐานหนึ่งเท่าครึ่ง และลองซ้ำหนึ่งครั้ง หากลองซ้ำไม่ช่วย ให้ข้ามและไปต่อ
  8. บันทึก HTML ดิบพร้อมหนังสือเดินทาง สำหรับแต่ละหน้า บันทึกหนึ่งบรรทัดในไฟล์ raw/help_center.jsonl

ส่วนสำคัญของโค้ดสำหรับบันทึกและลูป:

import json, time, random, hashlib from datetime import datetime, timezone def save_raw(path, url, final_url, status, html, proxy_ip): rec = { 'url': url, 'final_url': final_url, 'status': status, 'fetched_at': datetime.now(timezone.utc).isoformat(), 'proxy_ip': proxy_ip, 'html_len': len(html), 'html_sha1': hashlib.sha1(html.encode('utf-8', 'ignore')).hexdigest(), 'html': html } with open(path, 'a', encoding='utf-8') as f: f.write(json.dumps(rec, ensure_ascii=False) + chr(10)) def fetch_one(session, url, proxies, headers, timeout): r = session.get(url, proxies=proxies, headers=headers, timeout=timeout, allow_redirects=True) return r.status_code, r.url, r.text for i, url in enumerate(urls): if not rp.can_fetch(UA, url): log('robots_disallow', url); continue if i > 0 and i % ROTATE_EVERY == 0: requests.get(ROTATE_URL, timeout=60); time.sleep(10) try: status, final_url, html = fetch_one(session, url, PROXIES, HEADERS, TIMEOUT) except Exception as e: log('error', url, str(e)); time.sleep(BASE_DELAY * 2); continue if status == 200 and len(html) > 2000: save_raw(RAW_PATH, url, final_url, status, html, current_ip) else: log('skip', url, status, len(html)) time.sleep(BASE_DELAY * random.uniform(1.0, 1.4))

สังเกตเงื่อนไข len(html) > 2000 หน้าที่มีข้อความที่มีเนื้อหาแทบไม่เคยสั้นกว่า 2 กิโลไบต์ HTML นี่เป็นตัวกรองขยะที่หยาบที่สุดตัวแรก และมันตัดการตอบสนองว่างและตัวแทนออกตั้งแต่เริ่ม

  1. รันบนตัวอย่าง การรันครั้งแรกทำบน 50 ที่อยู่ ดูบันทึก เปิด HTML ที่บันทึกสองสามหน้าในเบราว์เซอร์ ตรวจสอบว่าเป็นหน้าเหล่านั้นจริง
  2. รันการเก็บข้อมูลเต็มรูปแบบ บนเซิร์ฟเวอร์ใช้ nohup python fetch.py & หรือ screen เพื่อให้โปรเซสรอดการปิด terminal การเก็บ 3000 หน้าที่ 12 คำขอต่อนาทีใช้เวลาประมาณ 4-5 ชั่วโมง

ข้อควรระวัง: อย่ารันสำเนาหลายชุดของตัวเก็บข้อมูลบนเว็บไซต์เดียวกันพร้อมกันผ่านพร็อกซีเดียว การหมุน IP ไม่ได้ยกเลิกขีดจำกัดโหลดบนเซิร์ฟเวอร์ต้นทาง หากต้องการเร็วขึ้น ให้ขนานไปยังเว็บไซต์ต่าง ๆ ไม่ใช่ไปยังเว็บไซต์เดียว

คำแนะนำ: บันทึก IP พร็อกซีที่ใช้ในแต่ละคำขอในบันทึก เมื่อในขั้นตอนการทำความสะอาดพบหน้าที่ถูกตัดเป็นชุด คุณจะเห็นจาก IP และเวลาทันทีว่าเป็นความล้มเหลวของเซสชันเฉพาะหรือไม่ และเก็บเฉพาะเซสชันนั้นใหม่

คำแนะนำ: เพิ่มการดำเนินการต่อในตัวเก็บข้อมูล: ก่อนรัน อ่านที่อยู่ที่เก็บแล้วจาก raw/*.jsonl และข้ามไป จากนั้นการตัดการเชื่อมต่อหรือรีสตาร์ทเซิร์ฟเวอร์จะไม่ทำให้เริ่มจากศูนย์

การตรวจสอบ: ในโฟลเดอร์ raw มีไฟล์ JSONL จำนวนบรรทัดใกล้เคียงกับจำนวนที่อยู่ที่สถานะ 200 ในบันทึก และบรรทัดที่เลือกสุ่มมีฟิลด์ url, fetched_at, proxy_ip และ HTML ที่สมบูรณ์ สัดส่วนข้อผิดพลาดและการข้ามในบันทึกไม่เกิน 5 เปอร์เซ็นต์

ปัญหาที่อาจเกิดขึ้น

  • การตอบสนอง 429 หลายรายการ คุณเร็วเกินไปสำหรับเว็บไซต์นี้ ลด rate_per_minute ครึ่งหนึ่ง เพิ่ม rotate_every เพื่อให้การหมุนไม่ดูเหมือนการระเบิดจากที่อยู่ใหม่
  • หน้ามาว่างเปล่า แม้ว่าสถานะ 200 เนื้อหาวาดด้วย JavaScript แหล่งเหล่านี้ต้องใช้การเรนเดอร์ผ่านเบราว์เซอร์ ซึ่งอยู่ในบล็อกขั้นสูง ตอนนี้ทำเครื่องหมายใน sources.json ด้วยแฟล็ก needs_js: true
  • การเก็บข้อมูลดำเนินไปแต่ช้ามาก ตรวจสอบความหน่วงพร็อกซีจากขั้นตอนที่ 2 ตรวจสอบว่า timeout ไม่ได้ตั้งไว้ที่ 120 วินาทีเมื่อความหน่วงทั่วไปคือ 2 มิฉะนั้นแต่ละหน้าที่ค้างจะกินเวลาสองนาที
  • สคริปต์ล้มเหลวในการเข้ารหัส ใช้ r.text พร้อมตรวจสอบ r.encoding; หากเว็บไซต์ส่งการเข้ารหัสผิด ให้แทนที่ r.encoding = r.apparent_encoding ก่อนอ่าน

ขั้นตอนที่ 4: แยกข้อความสะอาดจาก HTML และเอกสาร

เป้าหมายของขั้นตอนนี้: เปลี่ยน HTML ดิบและไฟล์ให้เป็นข้อความสะอาด โดยเหลือเพียงเนื้อหาหลักของหน้า: หัวข้อ ย่อหน้า รายการ ตาราง โดยไม่มีเมนู ฟุตเตอร์ โฆษณา และวิดเจ็ต

นี่คือช่วงเวลาที่คุณภาพของคลังข้อมูลเกิดขึ้นหรือตาย วิธีการไร้เดียงสา "ลบแท็กทั้งหมด" ทิ้งรายการเมนู ปุ่ม "ซื้อ" ข้อความแบนเนอร์คุกกี้ และรายการบทความที่เกี่ยวข้องไว้ในข้อความ ทั้งหมดนี้จะโผล่ขึ้นมาในคำตอบของระบบ RAG ในภายหลัง

คำแนะนำสำหรับหน้าเว็บ

  1. สร้างไฟล์ extract.py มันอ่าน raw/*.jsonl ทีละบรรทัดและเขียนผลลัพธ์ใน clean/*.jsonl
  2. ใช้ไลบรารี trafilatura เพื่อแยกข้อความหลัก มันถูกฝึกให้หาพื้นที่เนื้อหาของหน้าและทิ้งบล็อกเทมเพลต
import json, trafilatura def extract_text(html, url): downloaded = html result = trafilatura.extract( downloaded, url=url, include_comments=False, include_tables=True, include_links=False, favor_precision=True, output_format='json' ) if not result: return None data = json.loads(result) return { 'title': data.get('title'), 'text': data.get('text'), 'author': data.get('author'), 'date': data.get('date'), 'description': data.get('description') }
  1. พารามิเตอร์ favor_precision=True บังคับให้ไลบรารีเคร่งครัดขึ้น: มันจะเลือกที่จะเสียข้อความบางส่วนแทนที่จะดึงเมนูมา สำหรับคลังข้อมูล RAG นี่เป็นตัวเลือกที่ถูกต้อง หากคุณสังเกตว่าบล็อกที่จำเป็นสูญหาย เช่น ตารางคุณลักษณะ ให้เปลี่ยนเป็น favor_recall=True สำหรับแหล่งเฉพาะ
  2. เพิ่มวิธีการสำรอง หาก trafilatura ส่งคืน None หรือข้อความสั้นกว่า 200 ตัวอักษร ลองแยกเนื้อหาด้วย CSS selector ที่คุณหาเอง: เปิดหน้าในเบราว์เซอร์ กด F12 หาบล็อกที่มีข้อความหลัก คัดลอกคลาส เช่น article-body ใช้ BeautifulSoup ตัดเฉพาะบล็อกนั้น ระบุ selector ใน sources.json เป็น content_selector
  3. ทำให้ข้อความปกติ แทนช่องว่างที่แยกไม่ได้ด้วยช่องว่างปกติ ยุบการขึ้นบรรทัดใหม่สามหรือมากกว่าเป็นสอง ลบช่องว่างที่ต้นและท้ายบรรทัด อย่าเปลี่ยนตัวพิมพ์และอย่าลบเครื่องหมายวรรคตอน: มันจะทำให้การค้นหาแย่ลง
  4. บันทึกพร้อม metadata ต้นทาง คัดลอกจากบันทึกดิบ url, final_url, fetched_at เพิ่ม source จาก sources.json ฟิลด์จากการแยก และความยาวข้อความเป็นตัวอักษร

คำแนะนำสำหรับ PDF และ DOCX

  1. PDF ใช้ pypdf: เปิดไฟล์ วนหน้าต่าง ๆ เรียก page.extract_text() และรวม บันทึกหมายเลขหน้าสำหรับแต่ละส่วน: เป็น metadata ที่มีค่า ผู้ใช้สามารถหาตำแหน่งในต้นฉบับได้ หากข้อความส่งคืนว่างเปล่า PDF มีการสแกน ไม่ใช่ข้อความ: เก็บไฟล์เหล่านั้นไว้ในโฟลเดอร์แยก การจดจำอยู่นอกขอบเขตของคู่มือนี้
  2. DOCX ใช้ python-docx: วน document.paragraphs และ document.tables หัวข้อใน Word มีสไตล์ Heading 1, Heading 2: บันทึกเป็นบรรทัดแยกพร้อมหมายเหตุ ซึ่งสะดวกในการตัดเอกสารในภายหลัง
  3. ลบหัวกระดาษและท้ายกระดาษ ในคู่มือ PDF ชื่อบริษัท หมายเลขเวอร์ชัน และ "หน้า 3 จาก 40" ซ้ำในทุกหน้า รวบรวมบรรทัดทั้งหมดของเอกสาร หาบรรทัดที่ซ้ำมากกว่าครึ่งหน้า และลบออก

ข้อควรระวัง: อย่าลบตารางเพื่อความสวยงาม ในคู่มือ แพ็กเกจ และคุณลักษณะ ตารางคือที่ที่มีคำตอบสำหรับคำถามเฉพาะ: "ขีดจำกัดเท่าไหร่" "ราคาเท่าไหร่" "พอร์ตใด" เก็บบรรทัด แยกเซลล์ด้วยแท็บหรือเครื่องหมายขีดตั้ง

คำแนะนำ: หลังแยก เลือก 20 เอกสารสุ่มและอ่านทั้งหมด ไม่ใช่แค่กวาดตา แต่อ่านจริง ๆ การตรวจสอบเช่นนี้หาปัญหาเชิงระบบได้มากกว่าตัวกรองอัตโนมัติใด ๆ: ตัวอย่างเช่น คุณจะเห็นว่าบนทุกหน้าของบล็อกมีบล็อก "อ่านเพิ่มเติม" พร้อมหัวข้อสามหัวติดอยู่ที่ท้ายข้อความ

การตรวจสอบ: ในโฟลเดอร์ clean มีไฟล์ JSONL จำนวนบันทึกไม่น้อยกว่า 80 เปอร์เซ็นต์ของจำนวนหน้าดิบ ใน 10 บันทึกสุ่ม ข้อความเริ่มต้นด้วยหัวข้อหรือย่อหน้าแรกของบทความ ไม่ใช่รายการเมนู และสิ้นสุดด้วยย่อหน้าที่มีเนื้อหาสุดท้าย ไม่ใช่ลายเซ็น "สงวนลิขสิทธิ์"

ปัญหาที่อาจเกิดขึ้น

  • แยกข้อความได้น้อยเกินไป เว็บไซต์ที่มีการจัดวางผิดมาตรฐาน เพิ่ม content_selector และเส้นทางสำรองผ่าน BeautifulSoup
  • ข้อความยังมีปุ่มและรายการเมนู เปิด favor_precision และสำหรับกรณีที่ดื้อรั้นเพิ่มรายการคำหยุด: บรรทัดสั้นเช่น "แชร์" "อ่านต่อ" "ขึ้นบน" ลบหากมันอยู่บรรทัดแยก
  • PDF ส่งข้อความกลับหลังหรือคำขาด ลอง pdfplumber แทน pypdf ซึ่งทำงานกับคอลัมน์ได้ดีกว่า

ขั้นตอนที่ 5: กรองขยะ: การลบข้อมูลซ้ำ เทมเพลต คุณภาพ ภาษา

เป้าหมายของขั้นตอนนี้: คัดแยกข้อมูลซ้ำ ตัวแทน บล็อกเทมเพลต ข้อความในภาษาอื่น และเอกสารสั้นเกินไปหรือเสียหาย เหลือเฉพาะสิ่งที่มีความรู้

แม้หลังการแยกที่แม่นยำ ในคลังข้อมูลยังมีขยะ 15 ถึง 40 เปอร์เซ็นต์ เป็นเรื่องปกติ การปล่อยให้มันเข้าดัชนีนั้นไม่ปกติ

คำแนะนำ

  1. สร้างไฟล์ filter.py ที่อ่าน clean/*.jsonl ใช้ตัวกรองตามลำดับ เขียนเอกสารที่ผ่านใน corpus/filtered.jsonl และที่ถูกคัดออกใน corpus/rejected.jsonl พร้อมระบุเหตุผล
  2. ตัวกรอง 1: ความยาวขั้นต่ำ เอกสารสั้นกว่า 300 ตัวอักษรเกือบทั้งหมดเป็นตัวแทน ประกาศ หรือข้อผิดพลาดในการแยก คัดออกด้วยเหตุผล too_short สำหรับการ์ดสินค้า เกณฑ์สามารถลดเป็น 150
  3. ตัวกรอง 2: วลีตัวแทน รวบรวมรายการวลีที่แสดงว่าหน้าว่างเปล่า: "ไม่พบหน้าเว็บ" "สินค้าหมด" "การเข้าถึงถูกจำกัด" "เปิดใช้งาน javascript" "อยู่ระหว่างการซ่อมบำรุง" หากวลีเช่นนี้ปรากฏใน 300 ตัวอักษรแรกและข้อความทั้งหมดสั้นกว่า 1500 คัดออกด้วยเหตุผล placeholder
  4. ตัวกรอง 3: ภาษา ใช้ langdetect.detect บน 1000 ตัวอักษรแรก หากภาษาไม่ตรงกับที่ระบุในแหล่ง คัดออกด้วยเหตุผล wrong_lang โปรดทราบว่าบนข้อความสั้น ตัวตรวจจับผิดพลาด ดังนั้นใช้หลังตัวกรองความยาว
  5. ตัวกรอง 4: ข้อมูลซ้ำที่แน่นอน ทำให้ข้อความปกติ: ตัวพิมพ์เล็ก ยุบช่องว่าง ลบเครื่องหมายวรรคตอน คำนวณ sha1 หากแฮชเคยปรากฏแล้ว คัดออกด้วยเหตุผล exact_dup และบันทึกลิงก์ไปยังต้นฉบับ แหล่งข้อมูลซ้ำที่แน่นอนทั่วไป: หน้าเดียวที่ http และ https กับและไม่มี www กับและไม่มีพารามิเตอร์ ?utm_source และหน้าสำหรับพิมพ์
  6. ตัวกรอง 5: ข้อมูลซ้ำเกือบ ที่นี่ต้องใช้ MinHash จากไลบรารี datasketch แบ่งข้อความปกติเป็น shingles 5 คำ สร้าง MinHash ด้วย 128 การเรียงสับเปลี่ยน ใส่ใน MinHashLSH ด้วยเกณฑ์ 0.85 เอกสารที่มีเพื่อนบ้านคล้ายกันในดัชนีอยู่แล้ว คัดออกด้วยเหตุผล near_dup ด้วยวิธีนี้เวอร์ชันของบทความเดียวกันที่มีวันที่ต่างกัน หน้าสินค้าที่ต่างกันเพียงสี และข่าวที่ออกซ้ำจะหายไป
from datasketch import MinHash, MinHashLSH def shingles(text, k=5): words = text.split() return set(' '.join(words[i:i+k]) for i in range(max(1, len(words) - k + 1))) lsh = MinHashLSH(threshold=0.85, num_perm=128) def is_near_dup(doc_id, norm_text): m = MinHash(num_perm=128) for sh in shingles(norm_text): m.update(sh.encode('utf-8')) if lsh.query(m): return True lsh.insert(doc_id, m) return False
  1. ตัวกรอง 6: บรรทัดเทมเพลต รวบรวมบรรทัดทั้งหมดของเอกสารทั้งหมดของแหล่งเดียวและนับว่าบรรทัดใดปรากฏในเอกสารกี่เปอร์เซ็นต์ บรรทัดที่ปรากฏในมากกว่า 30 เปอร์เซ็นต์ของเอกสารและสั้นกว่า 200 ตัวอักษร เป็นเทมเพลต: ข้อจำกัดความรับผิดชอบ ลายเซ็น คำเชิญสมัครสมาชิก ลบออกจากเอกสารทั้งหมด นี่ไม่ใช่การคัดออกเอกสาร แต่เป็นการทำความสะอาดภายใน
  2. ตัวกรอง 7: คุณภาพข้อความ คำนวณเมตริกง่าย ๆ: สัดส่วนตัวอักษรในทุกอักขระควรมากกว่า 0.6; ความยาวคำเฉลี่ยจาก 3 ถึง 12; สัดส่วนบรรทัดที่ลงท้ายด้วยจุดมากกว่า 0.3 สำหรับบทความ เอกสารนอกช่วงเหล่านี้มักเป็นตารางรหัส ดัมป์ หรือการแยกที่เสียหาย คัดออกด้วยเหตุผล low_quality แต่ต้องดูสิ่งที่ถูกคัดออกด้วยตา: สำหรับเอกสารทางเทคนิคเกณฑ์ต้องผ่อนปรน
  3. ตัวกรอง 8: หน้าที่ถูกตัด เปรียบเทียบ html_len จากบันทึกดิบกับค่ามัธยฐานของแหล่ง หาก HTML สั้นกว่า 30 เปอร์เซ็นต์ของค่ามัธยฐาน และข้อความตัดกลางประโยคโดยไม่มีจุด นี่คือการตอบสนองที่ถูกตัด เหตุผล truncated บันทึกที่อยู่เหล่านั้นใน recollect.txt และเก็บใหม่ผ่านพร็อกซีในขั้นตอนที่ 3
  4. รันตัวกรองและศึกษารายงาน สคริปต์ควรแสดงตาราง: จำนวนเอกสารขาเข้า จำนวนที่ถูกคัดออกด้วยเหตุผลแต่ละอย่าง จำนวนที่เหลือ

ข้อควรระวัง: อย่าลบไฟล์จาก clean และ raw ในระหว่างการกรอง ตัวกรองเขียนเฉพาะไฟล์ใหม่ หากเกณฑ์ MinHash เข้มงวดเกินไปและคุณสูญเสียเอกสารที่มีประโยชน์ 40 เปอร์เซ็นต์ คุณเพียงเปลี่ยนตัวเลขและรันสคริปต์อีกครั้งในสองนาที

คำแนะนำ: เกณฑ์ 0.85 สำหรับข้อมูลซ้ำเกือบดีสำหรับบทความและหน้าช่วยเหลือ สำหรับการ์ดสินค้าแบรนด์เดียวที่ต่างกันเพียงขนาดหรือปริมาณ มันจะยุบเป็นหนึ่ง ตัดสินใจล่วงหน้าว่าระบบ RAG ของคุณต้องการทุกตัวแปรหรือไม่ และจะขึ้นเกณฑ์เป็น 0.95 หรือรวมตัวแปรเป็นเอกสารเดียวพร้อมตารางความแตกต่างในขั้นตอนการแยก

คำแนะนำ: เอกสารที่ถูกคัดออกไม่ใช่ขยะ แต่เป็นวัสดุสำหรับดีบัก สัปดาห์ละครั้งเปิด rejected.jsonl กรองตามเหตุผลและดู 10 บันทึกสุ่ม หากใน low_quality มีตารางแพ็กเกจที่มีประโยชน์ปรากฏเป็นประจำ เกณฑ์ต้องแก้ไข

การตรวจสอบ: รายงานตัวกรองแสดงภาพที่สมเหตุสมผล: การคัดออกรวม 10 ถึง 40 เปอร์เซ็นต์ ซึ่งข้อมูลซ้ำเป็นส่วนสำคัญ และเหตุผล truncated ให้ไม่เกิน 2-3 เปอร์เซ็นต์ ในไฟล์ filtered.jsonl ไม่มีสองเอกสารที่มีข้อความปกติเหมือนกัน และ 10 บันทึกสุ่มดูเหมือนบทความหรือส่วนเอกสารที่สมบูรณ์

ปัญหาที่อาจเกิดขึ้น

  • การคัดออกมากกว่า 60 เปอร์เซ็นต์ เป็นไปได้มากว่าเกณฑ์คุณภาพเข้มงวดเกินไปหรือข้อผิดพลาดในการทำให้เป็นปกติ ทำให้ข้อความทั้งหมดดูคล้ายกัน แสดง 20 รายการที่ถูกคัดออกสุ่มและหาเหตุผลเชิงระบบ
  • MinHash ทำงานนานมาก บนคลังมากกว่า 100,000 เอกสาร ลด num_perm เป็น 64 หรือคำนวณแยกตามแหล่ง
  • ตัวตรวจจับภาษาทำเครื่องหมายข้อความรัสเซียเป็นบัลแกเรียหรือมาซิโดเนีย เกิดบนส่วนสั้นที่มีชื่อเฉพาะมาก ตรวจสอบภาษาบน 2000 ตัวอักษรแรกและยอมรับภาษาใดก็ได้จากกลุ่มใกล้เคียงเป็นความสอดคล้อง

ขั้นตอนที่ 6: ติดป้าย metadata และรวบรวมคลังข้อมูลสุดท้าย

เป้าหมายของขั้นตอนนี้: ได้ไฟล์เดียว corpus/corpus_v1.jsonl ที่แต่ละเอกสารมีตัวระบุที่เสถียร ชุด metadata ครบถ้วน และพร้อมส่งให้ไปป์ไลน์การทำดัชนี

Metadata คือสิ่งที่แยกคลังข้อมูลออกจากกองข้อความ มันช่วยให้อัปเดตแหล่งแต่ละแห่ง อธิบายที่มาของคำตอบแก่ผู้ใช้ กรองตามวันที่และส่วน และที่สำคัญที่สุด ไม่ต้องทำงานทั้งหมดซ้ำในอีกหนึ่งเดือน

คำแนะนำ

  1. กำหนด schema ของเอกสาร บันทึกในไฟล์ schema.md และอย่าเปลี่ยนโดยไม่เปลี่ยนเวอร์ชันคลังข้อมูล แนะนำขั้นต่ำ:
  • doc_id: ตัวระบุที่เสถียร เช่น sha1 ของ final_url เพื่อให้เมื่อเก็บใหม่ เอกสารได้ id เดิม
  • source: ชื่อแหล่งจาก sources.json
  • url และ final_url
  • title
  • section: ส่วนของเว็บไซต์ที่คำนวณจากส่วนแรกของเส้นทางหลัง prefix เช่น help/proxies
  • lang
  • published_at: วันที่เผยแพร่ หากแยกได้
  • fetched_at: วันที่เก็บ
  • geo: ภูมิภาคของพร็อกซีที่ใช้เก็บ
  • text
  • text_len, text_sha1
  • corpus_version: เช่น v1
  1. คำนวณส่วน แยก final_url ผ่าน urllib.parse.urlparse ใช้เส้นทาง ลบ prefix ของแหล่ง เหลือหนึ่งหรือสองเซกเมนต์ ส่วนจะกลายเป็นตัวกรองในระบบ RAG ในภายหลัง: ผู้ใช้ถามเกี่ยวกับการชำระเงิน การค้นหาจะเริ่มจากส่วน billing ก่อน
  2. ทำให้วันที่เป็นปกติ วันที่ทั้งหมดให้เป็น ISO 8601 ใน UTC หากไม่พบวันที่เผยแพร่ ให้เว้นฟิลด์ว่าง ไม่ใส่วันที่เก็บ: สองอย่างนี้ต่างกัน และการสับสนเป็นอันตรายเมื่อกรองวัสดุที่ล้าสมัย
  3. เพิ่มหัวข้อในข้อความ หาก text ไม่เริ่มต้นด้วย title ให้แทรกหัวข้อเป็นบรรทัดแรก หัวข้อมีคำสำคัญที่สำคัญสำหรับการค้นหา
  4. เรียงลำดับและเขียน เรียงเอกสารตาม source และ final_url เขียนใน corpus/corpus_v1.jsonl วาง corpus/manifest_v1.json ไว้ข้าง ๆ พร้อมจำนวนเอกสารตามแหล่ง วันที่รวบรวม เวอร์ชัน schema และพารามิเตอร์ตัวกรอง
  5. สร้างไฟล์เก็บถาวร บีบอัด corpus, sources.json, schema.md และโฟลเดอร์ logs ไฟล์เก็บถาวรนี้คือเวอร์ชันที่ทำซ้ำได้ของคลังข้อมูลของคุณ

คำแนะนำ: เก็บข้อมูลส่วนบุคคลไว้นอกคลังข้อมูลเลย หากในข้อความช่วยเหลือมีตัวอย่างเช่น "อีวาน เปตรอฟ, +7 900..." ให้แทนที่ด้วยตัวแทนตั้งแต่ขั้นตอนการรวบรวมคลังข้อมูล ระบบ RAG ไม่ควรสามารถให้เบอร์โทรของใคร แม้จะอยู่ในที่เปิดเผยก็ตาม

การตรวจสอบ: ไฟล์ corpus_v1.jsonl เปิดได้ แต่ละบรรทัดเป็น JSON ที่ถูกต้องพร้อมฟิลด์ตาม schema ทุกเอกสารมี doc_id ที่ไม่ซ้ำ ทุกอย่างมี source, lang, fetched_at, text ที่กรอกไว้ ไฟล์ manifest_v1.json มีสรุปที่ตรงกับจำนวนบรรทัด

ปัญหาที่อาจเกิดขึ้น

  • ที่อยู่ต่างกันนำไปยังเอกสารเดียวกันและให้ doc_id ต่างกัน คำนวณ id จาก final_url หลังการเปลี่ยนเส้นทาง โดยลบพารามิเตอร์คำขอและเครื่องหมายทับท้าย
  • วันที่ถูกแยกในรูปแบบต่าง ๆ ใช้ dateutil.parser.parse พร้อมพารามิเตอร์ dayfirst=True สำหรับแหล่งภาษารัสเซีย

ตรวจสอบผลลัพธ์: รายการตรวจสอบและทดสอบคลังข้อมูล

คลังข้อมูลรวบรวมเสร็จแล้ว ก่อนนำไปทำดัชนี มาตรวจสอบมันในฐานะผลิตภัณฑ์ ไม่ใช่แค่ไฟล์

รายการตรวจสอบ

  • มี sources.json พร้อมขอบเขตของแต่ละแหล่งและขีดจำกัด
  • ทุกคำขอวิ่งผ่านพร็อกซีมือถือ ในบันทึกแต่ละคำขอมี proxy_ip
  • สัดส่วนข้อผิดพลาดการเก็บข้อมูลตามบันทึกไม่เกิน 5 เปอร์เซ็นต์ การตอบสนอง 429 น้อยกว่า 1 เปอร์เซ็นต์
  • แยกเอกสารได้ไม่น้อยกว่า 80 เปอร์เซ็นต์จากหน้าดิบ
  • การคัดออกจากการกรอง 10 ถึง 40 เปอร์เซ็นต์ เหตุผลการคัดออกทั้งหมดมีชื่อ
  • ในคลังข้อมูลไม่มีข้อมูลซ้ำที่แน่นอนตามข้อความปกติ
  • ทุกเอกสารมี metadata ที่จำเป็นกรอกไว้
  • มีไฟล์เก็บถาวรที่มีข้อมูลดิบ คลังข้อมูล บันทึก และการตั้งค่า

วิธีทดสอบ

  1. ทดสอบด้วยคำถามจากขั้นตอนที่ 1 ใช้คำถาม 20-30 ข้อของคุณ สำหรับแต่ละข้อ ค้นหาด้วยการค้นหาแบบสตริงย่อยหรือผ่าน grep ในคลังข้อมูลเพื่อหาเอกสารที่มีคำตอบ เป้าหมาย: ไม่น้อยกว่า 90 เปอร์เซ็นต์ของคำถามมีการครอบคลุม หากคำถามไม่ถูกครอบคลุม หาหน้าที่มีคำตอบในเบราว์เซอร์และค้นหาว่าทำไมมันไม่เข้า: ไม่อยู่ใน sitemap ถูกตัวกรองคัดออก ข้อความถูกตัด
  2. ทดสอบขยะ ค้นหาในคลังข้อมูลสำหรับสตริง "สมัครสมาชิก" "ตะกร้า" "cookie" "สงวนลิขสิทธิ์" "อ่านเพิ่มเติม" ทุกการปรากฏเป็นข้อสงสัย อนุญาตไม่กี่รายการหากเป็นส่วนของข้อความที่มีเนื้อหา การปรากฏเป็นสิบแสดงว่าตัวกรองเทมเพลตต้องแก้ไข
  3. ทดสอบการตัดขาด นับเอกสารที่ข้อความสิ้นสุดไม่ใช่จุด อัศเจรีย์ คำถาม หรือวงเล็บปิด ควรน้อยกว่า 5 เปอร์เซ็นต์ ที่เหลือดูด้วยตา
  4. ทดสอบการกระจาย สร้างฮิสโตแกรมความยาวเอกสาร คลังข้อมูลช่วยเหลือหรือบล็อกที่ดีมีพีคที่ 2-8 พันตัวอักษรและหางยาว พีคที่คมใกล้เกณฑ์ขั้นต่ำแสดงว่ามีตัวแทนที่รอดตัวกรอง
  5. ทดสอบภูมิศาสตร์ หากเนื้อหาขึ้นกับภูมิภาค เปิด 5 หน้าที่มีราคาหรือสต็อกและเปรียบเทียบกับสิ่งที่คนจากเมืองที่ต้องการเห็น ความแตกต่างแสดงว่าพร็อกซีถูกเลือกจากภูมิภาคอื่นหรือเว็บไซต์กำหนดภูมิภาคจากคุกกี้ ไม่ใช่ IP

ตัวชี้วัดความสำเร็จ

คลังข้อมูลพร้อม หากการครอบคลุมคำถามทดสอบสูงกว่า 90 เปอร์เซ็นต์ สัดส่วนเอกสารที่มีสัญญาณขยะต่ำกว่า 3 เปอร์เซ็นต์ และ manifest ช่วยทำซ้ำการรวบรวมได้ทั้งหมด หลังจากนั้นคลังข้อมูลจึงถูกส่งให้ไปป์ไลน์การทำดัชนีของระบบ RAG

ข้อผิดพลาดทั่วไปและวิธีแก้ไขเมื่อรวบรวมคลังข้อมูลสำหรับ RAG

ปัญหา: ในคำตอบของผู้ช่วยปรากฏรายการเมนูและคำเชิญสมัครสมาชิก สาเหตุ: การแยกข้อความทำงานในโหมดความครบถ้วน ไม่ใช่ความแม่นยำ ตัวกรองเทมเพลตไม่ได้รัน วิธีแก้: เปิด favor_precision ใช้การลบบรรทัดที่ซ้ำในมากกว่า 30 เปอร์เซ็นต์ของเอกสารแหล่ง รวบรวม clean จาก raw ใหม่โดยไม่ต้องดาวน์โหลดซ้ำ

ปัญหา: ผู้ช่วยตอบตามคู่มือเวอร์ชันเก่า สาเหตุ: ในคลังข้อมูลมีทั้งเวอร์ชันเก่าและใหม่ของบทความ ข้อมูลซ้ำเกือบไม่ถูกคัดออกหรือเกณฑ์สูงเกินไป วิธีแก้: ลดเกณฑ์ MinHash เป็น 0.8 สำหรับแหล่งที่มีเวอร์ชัน เมื่อขัดแย้งให้เก็บเอกสารที่มี published_at ใหม่กว่า

ปัญหา: บางหน้าถูกเก็บว่างเปล่า สถานะ 200 สาเหตุ: เนื้อหาสร้างด้วย JavaScript ฝั่งเบราว์เซอร์ วิธีแก้: ทำเครื่องหมายแหล่ง needs_js และใช้การเรนเดอร์ผ่าน Playwright จากบล็อกขั้นสูง หรือหา API หรือ RSS ของเว็บไซต์ที่ให้เนื้อหาพร้อม

ปัญหา: การเก็บข้อมูลหยุดที่ข้อผิดพลาด 429 และ 503 สาเหตุ: ความถี่คำขอสูงเกินไป การหมุน IP ถูกใช้แทนการลดโหลด วิธีแก้: ลดความถี่เป็น 6-8 คำขอต่อนาที เพิ่มการกระจายแบบสุ่มของเวลาหยุด ตั้งเวลาหยุด 5-10 นาทีเมื่อ 429 ครั้งแรก จำไว้ว่าขีดจำกัดโหลดคือการเคารพแหล่งข้อมูล ไม่ใช่จำนวนที่อยู่

ปัญหา: หลังการหมุน เว็บไซต์แสดงเนื้อหาของภูมิภาคอื่น สาเหตุ: พร็อกซีมือถือออก IP ของเมืองอื่น หรือเว็บไซต์กำหนดภูมิภาคจากคุกกี้ของเซสชันก่อน วิธีแก้: ตรึงภูมิภาคที่ต้องการในแดชบอร์ดพร็อกซี รีเซ็ตเซสชัน requests หลังการหมุนแต่ละครั้ง เพื่อไม่ให้คุกกี้ถูกถ่ายโอน

ปัญหา: คลังข้อมูลรวบรวมแล้ว แต่การครอบคลุมคำถาม 60 เปอร์เซ็นต์ สาเหตุ: ขอบเขตแหล่งข้อมูลแคบเกินไป หน้าที่มีประโยชน์ถูกตัดตาม prefix วิธีแก้: ใช้คำถามที่ไม่ถูกครอบคลุม หาคำตอบในเบราว์เซอร์ ดูที่อยู่ของพวกเขาและขยาย include_prefixes

ปัญหา: การลบข้อมูลซ้ำกินการ์ดสินค้าที่ต่างกันในคุณลักษณะ สาเหตุ: เกณฑ์ข้อมูลซ้ำเกือบต่ำเกินไปสำหรับข้อความประเภทเดียวกัน วิธีแก้: สำหรับแหล่งแค็ตตาล็อกเพิ่มเกณฑ์เป็น 0.95 หรือรวมตัวแปรของสินค้าเดียวกันเป็นเอกสารเดียวในขั้นตอนการแยก

ปัญหา: ข้อความ PDF มาเป็นบรรทัดเดียวโดยไม่มีย่อหน้า สาเหตุ: pypdf สูญเสียการจัดรูปแบบ วิธีแก้: เปลี่ยนเป็น pdfplumber หรือ pymupdf กู้คืนย่อหน้าจากการขึ้นบรรทัดคู่และ indent

ปัญหา: ข้อมูลส่วนบุคคลเข้ามาในคลังข้อมูล สาเหตุ: ไม่มีขั้นตอนการทำให้ไม่ระบุตัวตน วิธีแก้: เพิ่มก่อนเขียนในคลังข้อมูลการค้นหาโทรศัพท์ email และชื่อผ่าน pattern ง่าย ๆ และแทนที่ด้วยตัวแทน เอกสารที่คลุมเครือส่งให้ตรวจสอบด้วยมือ

ความสามารถเพิ่มเติมสำหรับผู้เชี่ยวชาญ

หากไปป์ไลน์พื้นฐานทำงานได้ นี่คือสิ่งที่ต้องพัฒนา

การเรนเดอร์หน้าที่มี JavaScript ผ่านพร็อกซี

ติดตั้ง pip install playwright และ playwright install chromium รันเบราว์เซอร์ด้วยพารามิเตอร์ proxy={'server': 'http://HOST:PORT', 'username': USER, 'password': PASS} รอ selector ของเนื้อหาหลักผ่าน page.wait_for_selector ไม่ใช่รอวินาทีคงที่ ดึง page.content() และเก็บบันทึกในรูปแบบ raw เดียวกัน เพื่อให้ขั้นตอนต่อไปไม่เปลี่ยน การเรนเดอร์ช้ากว่าคำขอปกติ 5-10 เท่า ดังนั้นใช้เฉพาะกับแหล่งที่มีแฟล็ก needs_js และลดความถี่เป็น 3-5 หน้าต่อนาที

การอัปเดตคลังข้อมูลแบบเพิ่ม

เก็บ text_sha1 ของแต่ละเอกสารใน manifest ในการรวบรวมครั้งถัดไป ดาวน์โหลดหน้า แต่แยกและกรองเฉพาะที่มีแฮช HTML เปลี่ยนหรือผ่านมากกว่า 30 วันจากการเก็บ ใช้ส่วนหัว If-Modified-Since และ ETag: หลายเว็บไซต์จะส่งคืน 304 โดยไม่มีเนื้อหา และคุณประหยัดทราฟฟิกพร็อกซี การอัปเดตแต่ละครั้งได้เวอร์ชันคลังข้อมูลใหม่: v2, v3 และไฟล์เก็บถาวรเก่าไม่ถูกลบ

คลังข้อมูลหลายภูมิภาค

หากธุรกิจมีสาขาและเนื้อหาของแหล่งขึ้นกับเมือง สร้างพร็อกซีมือถือหลายตัวที่มีภูมิศาสตร์ต่างกัน เก็บหน้าเดียวกันจากแต่ละภูมิภาค เก็บ geo ใน metadata และลบข้อมูลซ้ำเฉพาะภายในภูมิภาค ระบบ RAG จะสามารถตอบได้ว่า "ในคาซานจัดส่ง 2 วัน ในโนโวซีบีร์สค์ 4" โดยอ้างอิงจากเวอร์ชันหน้าเว็บตามภูมิภาคจริง

การให้คะแนนคุณภาพแทนเกณฑ์ที่เข้มงวด

แทนที่จะคัดออกตามเกณฑ์ ให้คำนวณคะแนนคุณภาพ 0 ถึง 1 สำหรับแต่ละเอกสารจากเมตริกเดียวกัน: ความยาว สัดส่วนตัวอักษร สัดส่วนประโยคที่สมบูรณ์ การซ้ำของบรรทัด เก็บคะแนนใน metadata จากนั้นไปป์ไลน์การทำดัชนีสามารถตัดสินใจเองว่าจะเอาอะไร และการค้นหาจัดอันดับเอกสารที่น่าเชื่อถือสูงกว่า

การลบข้อมูลซ้ำเชิงความหมาย

MinHash จับข้อมูลซ้ำเชิงศัพท์ การถอดความคำแนะนำเดียวกันด้วยคำต่างกันมันจะข้ามไป สำหรับการจับ这些东西 ให้คำนวณ embedding ของเอกสารและหาคู่ที่มีความคล้ายคลึงโคไซน์สูงกว่า 0.95 นี่เป็นเส้นแบ่งกับขั้นตอนการทำดัชนี ดังนั้นที่นี่เพียงกล่าวถึง: ตัดสินใจว่าจะลากเส้นแบ่งตรงไหน และอย่าทำงานเดียวสองครั้ง

การตรวจสอบการเก็บข้อมูล

แสดงเมตริกจากบันทึก: คำขอต่อนาที สัดส่วนรหัส 200 ความหน่วงเฉลี่ย จำนวนการหมุน แดชบอร์ดง่าย ๆ ด้วย matplotlib หรือตารางใน terminal ทุก 10 นาทีจะแสดงการเสื่อมสภาพก่อนที่คุณจะพบ 500 หน้าที่ว่างเปล่าในตอนเช้า

FAQ: คำถามที่พบบ่อยเกี่ยวกับการรวบรวมคลังข้อมูล

จำเป็นต้องใช้พร็อกซีมือถือสำหรับการรวบรวมคลังข้อมูลหรือไม่ สำหรับเอกสารของคุณเองและแหล่งเล็ก ไม่จำเป็น พร็อกซีจำเป็นเมื่อมีแหล่งมาก การเก็บข้อมูลดำเนินไปหลายชั่วโมง ต้องการเวอร์ชันภูมิภาคของเนื้อหา หรือคุณไม่ต้องการสร้างโหลดที่สังเกตได้บนเว็บไซต์จากที่อยู่เดียว

ควรเปลี่ยน IP บ่อยแค่ไหนเมื่อเก็บข้อมูล แนวทาง: ทุก 30-60 คำขอ หรือเมื่อเปลี่ยนไปยังแหล่งอื่น บ่อยกว่านั้นไม่จำเป็น: ความหมายของการหมุนคือการกระจายโหลดและความเสถียรของเซสชัน ไม่ใช่ความถี่ในตัวเอง การหมุนบ่อยโดยไม่ลดความเร็วโดยรวมไม่ได้ลดโหลด

ต้องมีเอกสารเท่าไหร่สำหรับระบบ RAG ที่ใช้งานได้ สำหรับผู้ช่วยเกี่ยวกับผลิตภัณฑ์เดียว 200-500 เอกสารที่มีคุณภาพมักเพียงพอ สำหรับ niche กว้าง หลายพันเอกสาร คุณภาพสำคัญกว่าปริมาณ: 500 บทความสะอาดให้คำตอบที่ดีกว่า 20,000 บทความที่มีขยะ

สามารถเก็บจากโซเชียลมีเดียและมาร์เก็ตเพลสได้หรือไม่ เฉพาะหน้าที่เปิดภายในกฎของแพลตฟอร์มและ robots.txt โดยไม่มีข้อมูลส่วนบุคคล หลายแพลตฟอร์มมี API ทางการสำหรับรับเนื้อหา เริ่มจากสิ่งเหล่านั้น

จะทำอย่างไรกับรูปภาพและวิดีโอ ในกรอบของคลังข้อมูลข้อความ เก็บเฉพาะคำบรรยาย alt-text และ transcript หากมีในหน้า ไฟล์เองไม่เข้าคลังข้อมูล

ทำไมไม่ดาวน์โหลดทั้งเว็บไซต์ด้วยโปรแกรมดาวน์โหลดเลย ได้ แต่คุณจะได้ไฟล์หลายหมื่นไฟล์โดยไม่มี metadata มีข้อมูลซ้ำ หน้าบริการ และไม่มีบันทึก จากนั้นจะต้องทำทุกขั้นตอนของคู่มือนี้ในลำดับย้อนกลับ เพียงแต่ยากกว่า

จะรู้ได้อย่างไรว่าตัวกรองไม่ได้ลบสิ่งจำเป็น ดู rejected.jsonl ตามเหตุผลแต่ละอย่าง ตัวอย่าง 10-20 บันทึก และตรวจสอบการครอบคลุมคำถามทดสอบ: หากคำตอบหายไป ค้นหาในสิ่งที่ถูกคัดออก

ต้องตัดเอกสารเป็น chunks ในขั้นตอนนี้หรือไม่ ไม่ การแบ่งเป็นส่วนเป็นส่วนหนึ่งของการทำดัชนีและขึ้นอยู่กับโมเดล embedding และขนาดบริบท หน้าที่ของคลังข้อมูลคือให้เอกสารที่สมบูรณ์พร้อม metadata และการติดป้ายหัวข้อ ซึ่ง chunker สามารถตัดได้อย่างมีความหมาย

จะอัปเดตคลังข้อมูลโดยไม่รวบรวมทั้งหมดได้อย่างไร เก็บแฮช ใช้คำขอแบบมีเงื่อนไข If-Modified-Since ทำเวอร์ชันคลังข้อมูล รายละเอียดในบล็อกขั้นสูง

จะทำอย่างไรหากเว็บไซต์ห้ามการเก็บข้อมูลอัตโนมัติใน robots.txt เคารพการห้าม เขียนถึงเจ้าของ บ่อยครั้งเขาจะให้การส่งออก API หรืออนุญาต คลังข้อมูลที่รวบรวมขัดกับกฎของแหล่งสร้างความเสี่ยงต่อทั้งโปรเจกต์

บทสรุป: สิ่งที่ทำและจะไปต่อที่ไหน

คุณผ่านเส้นทางทั้งหมดจากแนวคิดไปยังคลังข้อมูลที่พร้อมใช้ กำหนดขอบเขตและสร้างแผนที่แหล่งข้อมูลพร้อมขีดจำกัดและภูมิศาสตร์ เชื่อมต่อพร็อกซีมือถือและตรวจสอบว่าการหมุนทำงาน เขียนตัวเก็บข้อมูลที่สุภาพซึ่งเคารพ robots.txt กระจายโหลด และเก็บบันทึกอย่างละเอียด แยกข้อความสะอาดจาก HTML, PDF และ DOCX คัดข้อมูลซ้ำ ตัวแทน เทมเพลต และหน้าที่เสียหายพร้อมเหตุผลที่มีชื่อ ติดป้าย metadata และรวบรวมคลังข้อมูลที่มีเวอร์ชันพร้อม manifest ตรวจสอบกับคำถามจริง

ผลลัพธ์หลักไม่ใช่ไฟล์บนดิสก์ แต่เป็นกระบวนการที่ทำซ้ำได้ อีกหนึ่งเดือนคุณจะรันมันอีกครั้งและได้คลังข้อมูลที่อัปเดตในสองชั่วโมง ไม่ใช่หนึ่งสัปดาห์ และเมื่อระบบ RAG เริ่มตอบแปลก ๆ คุณจะรู้แน่ชัดว่าจะหาเหตุผลที่ไหน: ในบันทึกการเก็บข้อมูล ในรายงานตัวกรอง หรือใน manifest

สิ่งที่ต้องทำต่อไป ส่ง corpus_v1.jsonl ให้ไปป์ไลน์การทำดัชนี: การแบ่งเป็นส่วน, embedding, ฐานข้อมูลเวกเตอร์ เรื่องนี้อยู่ในบทความที่เกี่ยวข้องในบล็อก ตั้งการรันตัวเก็บข้อมูลตามกำหนดการพร้อมการอัปเดตแบบเพิ่ม ขยายแผนที่แหล่งข้อมูลเมื่อจำนวนคำถามที่ไม่ถูกครอบคลุมเพิ่มขึ้น หากธุรกิจเป็นระดับภูมิภาค เพิ่มพร็อกซีของเมืองที่ต้องการและรวบรวมเวอร์ชันภูมิภาคของเนื้อหา

จะพัฒนาไปที่ไหน เรียนรู้การเรนเดอร์ผ่านเบราว์เซอร์สำหรับเว็บไซต์ที่ซับซ้อน การให้คะแนนคุณภาพเอกสารแทนเกณฑ์ที่เข้มงวด การลบข้อมูลซ้ำเชิงความหมาย และการตรวจสอบการเก็บข้อมูล แต่ละขั้นตอนเหล่านี้เพิ่มคุณภาพคำตอบได้มากกว่าการเปลี่ยนโมเดล ข้อมูลสะอาดคือการปรับปรุงระบบ RAG ที่ถูกที่สุดที่คุณมี ขอให้สนุกกับการรวบรวม