https://github.com/unclecode/crawl4ai 爬虫工具

点击进入网页

crawl4ai，GitHub第一爬虫，把一个老哥被16美元付费服务坑了的火气，直接烧成了5.1万星开源项目。 任何网站丢进去，出来就是LLM能直接啃的干净Markdown。不用API key，不用账户，不用按页掏钱，跑得比那帮收费的还猛。 说白了就是一个开发者被几百块月费激怒后，几天就写完了，然后扔给全世界白嫖。 兄弟们，这事儿有意思的点不在技术。在于验证了一件事——爬虫这玩意儿，技术门槛早就他妈不是门槛了，收你钱的才是真暴利。 我自己试了下，那速度确实离谱。那种“付费墙背后才是完整信息”的错觉，从此在我这儿碎了一半。 我现在看那些还在按月交钱用类似服务的人，真的觉得他们是在……算了不说了。