>hFFdZddlZddlZddlZddlZddlmZmZmZm Z m Z m Z ddl m Z ddlmZddlmZmZmZGddeZe Gd d Ze Gd d eZGd dZGddeZ d1dedededededededefdZedk(reddZdefdZ e d ejCd!d"ejDe#Z#e d$e$e#d%e d&ejKd'd(ejL)Z#e d*e#e d+ejOgd,d-ejL.Z#e d/e#yy#e($rZ)e d0e)YdZ)[)ydZ)[)wwxYw)2uZ 支持文件上传的多模态OpenAI客户端 支持图像、文档等多种文件类型 N)DictAnyListOptionalUnionCallable) dataclass)Enum)SimpleOpenAIClient ModelConfig OutputModec$eZdZdZdZdZdZdZdZy)FileTypeu文件类型枚举imagedocumentaudiovideocodeN) __name__ __module__ __qualname____doc__IMAGEDOCUMENTAUDIOVIDEOCODEBC:\Users\win\Desktop\pyccd\funcs\utils\multimodal_openai_client.pyrrs EH E E DrrceZdZUdZdZeed<dZeed<dZeed<dZ e e ed <dZ e e ed <dZ e e ed <dZe e ed <d Zy) FileConfigu文件配置类i@max_image_sizei max_document_sizei@max_audio_sizeNsupported_image_typessupported_document_typessupported_audio_typessupported_code_typesc|j gd|_|j gd|_|j gd|_|j gd|_yy)N)z image/jpegz image/jpgz image/pngz image/gifz image/webpz image/bmpz image/tiff) z text/plainzapplication/pdfzapplication/mswordzGapplication/vnd.openxmlformats-officedocument.wordprocessingml.documentzapplication/vnd.ms-excelzAapplication/vnd.openxmlformats-officedocument.spreadsheetml.sheetz text/markdownztext/csvzapplication/json)z audio/mpegz audio/wavz audio/oggz audio/m4az audio/flac) z text/x-pythonztext/javascriptztext/x-java-sourceztext/x-cz text/x-c++z text/htmlztext/csszapplication/x-shz text/x-sql)r&r'r(r)selfs r __post_init__zFileConfig.__post_init__'se  % % -*D &  ( ( 0-D )  % % -*D &  $ $ ,)D % -r)rrrrr#int__annotations__r$r%r&rstrr'r(r)r-rrr r"r"se*NC*-s-+NC+'+49+*.d3i.'+49+&*$s)*rr"c4eZdZUdZdZeed<dZeed<dZ y)MultimodalConfigu多模态配置类gpt-4-vision-preview vision_modelN file_configc<|jt|_yyN)r5r"r+s r r-zMultimodalConfig.__post_init__Js    #)|D  $r) rrrrr4r0r/r5r"r-rrr r2r2Ds.L#."K",rr2cfeZdZdZdefdZdedefdZdedede fdZ dedefd Z d ded edefd Z y ) FileHandleru文件处理器r5c||_yr7)config)r,r5s r __init__zFileHandler.__init__Ss ! r file_pathreturnc$tjj|std|t j |\}}|ftjj |dj}|dvrtjS|dvrtjStd||jdrtjS|jdrtjS|jdrtjS||j j"vrtjS|jd r8||j j$vrtjStjStjS) u 检测文件类型 Args: file_path: 文件路径 Returns: FileType: 文件类型 文件不存在: ) z.pyz.jsz.htmlz.cssz.javaz.cppz.cz.shz.sql)z.txtz.mdz.csvz.jsonu无法识别文件类型: zimage/zaudio/zvideo/ztext/)ospathexistsFileNotFoundError mimetypes guess_typesplitextlowerrrr ValueError startswithrrrr;r'r))r,r= mime_type_exts r detect_file_typezFileHandler.detect_file_typeVsEww~~i(#&7 {$CD D ++I6 1  ''""9-a0668C[[}}$88((( #=i[!IJJ    )>> !  ! !( +>> !  ! !( +>> ! $++>> >$$ $  ! !' *$-1Q1Q$Q8== hW_WhWh h$$ $r file_typectjj|std|tjj |}t j |\}}|tjk(r?||jjkDr&td|d|jjd|tjk(r?||jjkDr&td|d|jjd|tjk(r?||jjkDr&td|d|jjd|tjk(r&||jj vrtd||tjk(r&||jj"vrtd||tjk(r&||jj$vrtd |y ) u 验证文件是否符合要求 Args: file_path: 文件路径 file_type: 文件类型 Returns: bool: 是否符合要求 r@u图像文件过大: u bytes, 最大支持: z bytesu文档文件过大: u音频文件过大: u不支持的图像类型: u不支持的文档类型: u不支持的音频类型: T)rBrCrDrEgetsizerFrGrrr;r#rJrr$rr%r&r'r()r,r=rP file_sizerLrMs r validate_filezFileHandler.validate_file{sww~~i(#&7 {$CD DGGOOI.  ++I6 1  &9t{{7Q7Q+Q3I;>TUYU`U`UoUoTppvwx x (++ + DKKTUYU`U`UrUrTssyz{ { (.. (Y9S9S-S3I;>TUYU`U`UoUoTppvwx x  &9DKK<]<]+]9)EF F (++ + AeAe0e9)EF F (.. (Ydkk>_>_-_9)EF Frctj|\}}t|d5}tj|j j d}d|d|cdddS#1swYyxYw)u 将文件编码为base64字符串 Args: file_path: 文件路径 Returns: str: base64编码的文件数据 rbutf-8zdata:z;base64,N)rFrGopenbase64 b64encodereaddecode)r,r=rLrMfile base64_datas r encode_file_to_base64z!FileHandler.encode_file_to_base64sj!++I6 1 )T " >wGK9+Xk]; < < A1# A>,B1A: 6A>=B> B B B  BN)rW) rrrrr"r<r0rrOboolrTr_rgrrr r9r9Psq"J"#%##%(#%J!s!x!D!F c d|dg}|D]^} |jj|}|jj|||tjk(r3|jj |}|j d||ddn|tjtjfvrV|jj|}tjj|} |j dd| d|ddne|tjk(rR|jj |}tjj|} |j dd | d dad|dS#t$rT} td |d | |j dd tjj|d| ddYd} ~ d} ~ wwxYw)u 创建包含文件的消息 Args: text: 文本内容 file_paths: 文件路径列表 detail: 图像详细程度 ("low", "high", "auto") Returns: Dict: 格式化的消息字典 rq)typerq image_url)urlrs)rurvu --- 文件: z --- u --- 文件结束 --- u --- 音频文件: u\ (base64编码) --- 注意: 这是一个音频文件，需要支持音频处理的模型。 u 处理文件 u 失败: u --- 文件处理错误: u --- 错误:  Nuserrolecontent)rnrOrTrrr_appendrrrgrBrCbasenamer Exceptionprint) r,rqrrrsr|r=rPr^ file_contentfilenamees r create_message_with_filesz0MultimodalOpenAIClient.create_message_with_filess"#D12#( I'  -->>yI !!// 9E."&"3"3"I"I)"TKNN +#.&,&$8#4#4hmm"DD#'#4#4#C#CI#NL!ww// :HNN &"28*F<.Ph i$ (..0"&"3"3"I"I)"TK!ww// :HNN &"8 Ca!b$;( V    i[ !=>":277;K;KI;V:WWefgehhjk  sEE00 G 9A GG Nsystem_messagemodetimeoutcallbackcg}|r|jd|d|r|j|||} nd|d} |j| |j||||S)u 与AI聊天并携带文件 Args: text: 文本消息 file_paths: 文件路径列表 system_message: 系统消息 mode: 输出模式 timeout: 超时时间 callback: 流式输出回调函数 detail: 图像详细程度 Returns: str: AI响应 systemrzry)r}r chat_complete) r,rqrrrrrrrsmessages user_messages r chat_with_filesz&MultimodalOpenAIClient.chat_with_filesse2  OOX.I J 99$ FSL$*t 批量分析多个文件 Args: file_paths: 文件路径列表 question: 要问的问题 mode: 输出模式 timeout: 超时时间 callback: 流式输出回调函数 Returns: str: 分析结果 ui你是一个专业的文件分析师，请仔细分析所有提供的文件并给出综合性的见解。rr)r,rrrrrrs r batch_analyze_filesz*MultimodalOpenAIClient.batch_analyze_filess1*##!G $  r)rp)rrrrr2r<r0rrrrr COMPLETErfloatrrrrrr __classcell__)ros@r rjrjs></< @ @ I@  @ c3h @ J!%(,%..#'48'E'EI'E! 'E  'E % 'E8SE4K01'E'E 'EX0%..#'48      %  8SE4K01    B6%..#'48      %  8SE4K01    B?%..#'48      %  8SE4K01    B0%..#'48  I    %  8SE4K01    rrjapi_urlapi_key model_name max_tokens temperaturerr5r>c Tt|||||||xs t}t|S)ub 创建多模态OpenAI客户端 Args: api_url: API地址 api_key: API密钥 model_name: 模型名称 max_tokens: 最大token数 temperature: 温度参数 timeout: 超时时间 file_config: 文件配置 Returns: MultimodalOpenAIClient: 多模态客户端实例 )rrrrrrr5)r2r"rj)rrrrrrr5r;s r create_multimodal_clientrs70/:<F "& ))r__main__z*https://api.openai.com/v1/chat/completionszyour-api-key-here)rrr|c t|ddy)NT)endflush)r)r|s r stream_callbackrs g2T*ru=== 图片分析示例 ===zpath/to/your/image.jpgu'请详细描述这张图片中的内容)rrrru$ 图片分析完成，响应长度: u 字符u === 代码分析示例 ===zpath/to/your/code.pyu3请分析这个代码的功能和可能的优化点)rrru代码分析结果: u === 多文件分析示例 ===)z image.jpgz document.txtzcode.pyu'请综合分析这些文件的关联性)rrrru多文件分析结果: u测试失败: )r3igffffff?gN@N)*rrYrFrBjsontypingrrrrrr dataclassesr enumr simple_openai_clientr r r rr"r2r9rjr0r.rrrclientrrrSTREAMresponselenrrrrrrrr rs   ==!LLt %% %P ,{, ,sXsXli /i `-"!* !* !*!* !*  !*  !*!*!*J z %<#F ++$ *+''/>""$ (  5c(m_GLM ,-&&1J$$'  $XJ/0 /0--?>$$.  'z23MP $ qc"##$s(BEE! EE!