fix: get more accurate emberder segmentation

[Abirdcfly]

What type of PR is this?

/kind bug

What this PR does / why we need it

1. Refactore some redundant functions
2. Use map to control exactly when each file is successfully embedding once (previously used the state of the cr to determine if it was processed, but there was a time lag between updating the state of the cr and getting the state of the cr, and the controller has a cache)
3. Use extended StuffDocuments to precisely control the format of the content given to LLM
4. Added many logs

Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.

q: 旷工最小计算单位为多少天？
a: "旷工最小计算单位为 0.5 天。"

q: 什么是旷工？
a: "旷工指未请假或请假未批准而擅自不上班或离岗者，不服从调动和工作分配，未按时到岗报到者；请假期限已满未续假或续假未批准而逾期不归者；有证据证明请假原因不属实、伪造或骗取请假、休假证件者；未按离职规定程序履行离职申请、审批，经要求仍拒不履行离职规定程序而擅自离岗者；因打架、斗殴致伤而不能上班者，且对无故被打伤的员工，其养伤期间的工资和医疗费用，经公安部门或保安部门裁决，由肇事者负责；在事假期间进行非法活动或进行有损公司利益、名誉的行为者；未经部门直接领导批准而擅自不按时到岗或离岗超过 2 小时的（包括但不限于上班时离岗、做与工作无关的活儿、拒绝工作及公司相关制度规定的其他情形），将视为旷工，未在岗位达 2 小时以上，4 小时以内的，按照旷工 0.5 天计算，达 4 小时及以上的，按照旷工一天计算；未按照考勤时间和制度打卡及上下班考勤漏打卡逾期未补者。"

q: 旷工有哪些处罚措施？
a: "1）扣除旷工相应天数工资的 100%，直接影响其所有考核成绩；2）连续旷工 2 天（含）或任意一年（非自然年）跨度期间内累计旷工达 3 天（含）以上，视为重大违纪行为， 公司有权即时解除劳动关系，不给予任何经济补偿。"

q: 试用期员工在试用期间需要达到多少出勤率？
a: "试用期员工在试用期间出勤率必须达到 95% 及以上，否则视为不符合岗位录用条件，公司有权即时解除劳动关系，终止劳动合同。"

q: 考勤时间是如何规定的？
a: "1）公司执行五天弹性工作制，上班时间为 9:00-9:30，下班时间为 18:00-18:30，中午 12:00-13:00 为午休时间，不计入工作时间；每天工作时间不少于 8 小时；2）公司考虑交通通勤情况，每天上班给予 10 分钟延迟；9:40 后为迟到打卡，每月最多迟到 3 次（不晚于 10:00），超出则视为旷工；晚于 10:00 打卡且无正当理由，视为旷工半天；3）因工作原因下班晚走 2 小时，第二天打卡时间不晚于上午 10:00，考勤打卡数据将作为员工日常管理和薪资核算的重要依据。"

Question: 旷工最小计算单位为多少天？

Helpful Answer:

Which issue(s) this PR fixes

Fixes #

Special notes for your reviewer

[bjwswang]

Consider to move these file handers under pkg/knowledgebase or somewhere else.

[nkwangleiGIT]

/lgtm