Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Appearance settings
Open more actions menu
 
 

Repository files navigation

天天基金爬虫

爬取天天基金网上的所有基金,辅助对基金投资的选择

购买基金前,请务必在官方网站上确认爬取的数据无误!

2021-01-24更新 若存在问题,请切换回Release版本

功能特性

  • 爬取基金的近1、3、6月,近1、3年及成立来的收益率,当前基金经理及其任职时间、任职来的收益率及总的任职时间

  • 模仿tcp的拥塞避免的线程数量控制,慢开始,当出现错误时,线程最大值减半,成功则线程最大值+1

  • 爬取全部数据需要505s,瓶颈为网站的反爬策略

  • 结果展示 Image text 2021-01-24 共有10203个基金

食用方法

  • 环境依赖 运行环境Python3.7 依赖见requirements.txt
  • 下载所有.py脚本文件(除MonkeyTest外)
  • 爬取基金数据
    • 运行CrawlingFund.py并等待
  • 筛选基金 还没做
  • 基金分析 也没做

文件结构

    -CrawlingFund 爬取主文件,描述整个的爬取逻辑并定义了基金信息的数据结构
    -CrawlingCore 爬取核心,定义了从输入网页链接到获得html文本的过程
    -FakeUAGetter 提供虚假的UA(将来可能会合并到工具文件)
    -Parser 负责html文本的解析,以及解析后的动作(保存文件),通过不同的实现类来针对性地对不同的网站内容进行解析
    -FundListProvider 负责提供需要爬取的基金列表,包括基金名称、代码
    -MonkeyTest 这是给我自己测试用的

更新计划

  • 重构
  • 增加新的爬取字段
    • 标准差
    • 夏普比率
    • 净值 (包括单位、累计和实时估算)
  • 增加能按收益率等初步对基金进行筛选的脚本

About

爬取天天基金网,辅助对投资基金的选择

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages

Morty Proxy This is a proxified and sanitized view of the page, visit original site.